Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DOOR PROTECTION CONTROL SYSTEM, DOOR PROTECTION SYSTEM, MOTOR VEHICLE AND METHOD
Document Type and Number:
WIPO Patent Application WO/2023/174766
Kind Code:
A1
Abstract:
The invention relates to a door protection control system (100) for detecting an obstacle (9) in a pivot region (10) of a lateral door (4) of a motor vehicle (1) with multiple ultrasonic sensors (2) attached underneath or arranged below a lateral door of the motor vehicle and a camera device (6) with at least one section of the pivot region (10) in the field of vision thereof, comprising: a camera control unit (15) which captures an image of the pivot region (10) using the camera device (6) and carries out an object identification on the captured image; an ultrasonic control unit (16) which carries out a distance measurement in the pivot region (10) of the lateral door (4) using the ultrasonic sensors (2); and a door protection control unit (17) which determines, based on a result of the object identification and based on a result of the distance measurement, whether there is an actual obstacle (9) in the pivot region (10) of the lateral door (4), and in the event of there being the actual obstacle (8), said door protection control unit generates a signal which indicates the presence of the actual obstacle (9).

Inventors:
HALLEK MICHAEL (DE)
LUCA RAZVAN (DE)
Application Number:
PCT/EP2023/055821
Publication Date:
September 21, 2023
Filing Date:
March 08, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VALEO SCHALTER & SENSOREN GMBH (DE)
International Classes:
E05F15/42
Domestic Patent References:
WO2020002332A12020-01-02
Foreign References:
US20170306684A12017-10-26
US10017975B22018-07-10
US20190322216A12019-10-24
Attorney, Agent or Firm:
ENGE, Sebastian Bernhard (DE)
Download PDF:
Claims:
PATENTANSPRÜCHE

1. Türschutz-Steuersystem (100) zum Erkennen eines Hindernisses (9) in einem Schwenkbereich (10) einer seitlichen Tür (4) eines Kraftfahrzeugs (1 ) mit einem oder mehreren Ultraschallsensoren (2), die an einem unteren Randabschnitt der seitlichen Tür (4) oder unterhalb der seitlichen Tür (4) angeordnet sind, und einer Kameravorrichtung (6), in deren Sichtfeld sich mindestens ein Abschnitt des Schwenkbereichs (10) befindet, wobei das Türschutz-Steuersystem (100) aufweist: eine Kamera-Steuereinheit (15), die dazu eingerichtet ist, mittels der Kameravorrichtung (6) ein Bild des Schwenkbereichs (10) aufzunehmen und eine Objekterkennung an dem aufgenommenen Bild durchzuführen; eine Ultraschall-Steuereinheit (16), die dazu eingerichtet ist, mittels dem einen oder den mehreren Ultraschallsensoren (2) eine Abstandsmessung in dem Schwenkbereich (10) der seitlichen Tür (4) durchzuführen; und eine Türschutz-Steuereinheit (17), die dazu eingerichtet ist, anhand eines Ergebnisses (19) der von der Kamera-Steuereinheit (15) durchgeführten Objekterkennung und anhand eines Ergebnisses (20) der von der Ultraschall-Steuereinheit (16) durchgeführten Abstandsmessung zu bestimmen, ob ein tatsächliches Hindernis (9) in dem Schwenkbereich (10) der seitlichen Tür (4) vorhanden ist, und, im Falle des Vorhandenseins des tatsächlichen Hindernisses (9), ein Signal zu erzeugen, welches das Vorhandensein des tatsächlichen Hindernisses (9) angibt.

2. Türschutz-Steuersystem nach Anspruch 1 , wobei die Ultraschall-Steuereinheit (16) dazu eingerichtet ist, die Abstandsmessung durchzuführen, während das Kraftfahrzeug (1 ) steht.

3. Türschutz-Steuersystem nach einem der vorhergehenden Ansprüche, wobei die Kamera-Steuereinheit (15) ferner dazu eingerichtet ist, für ein jeweiliges in dem aufgenommenen Bild erkanntes Objekt eine Objektklassifikation zu erzeugen, die das erkannte Objekt nach Art und Höhe klassifiziert, und wobei das Ergebnis der Objekterkennung (19) die jeweilige Objektklassifikation umfasst.

4. Türschutz-Steuersystem nach einem der vorhergehenden Ansprüche, wobei die Kamera-Steuereinheit (15) ferner dazu eingerichtet ist, für ein jeweiliges in dem aufgenommenen Bild erkannte Objekt eine Position und/oder eine Orientierung des Objekts in dem Bild zu bestimmen, und wobei das Ergebnis (19) der Objekterkennung ferner die Position und/oder die Orientierung des jeweiligen Objekts umfasst.

5. Türschutz-Steuersystem nach einem der vorhergehenden Ansprüche, wobei die Ultraschall-Steuereinheit (16) ferner dazu eingerichtet ist, anhand der durchgeführten Abstandsmessung eine Anzahl von Objektmerkmalen von bei der Abstandsmessung gemessenen Objekten zu erzeugen, wobei ein jeweiliges Objektmerkmal mindestens eine Position eines Reflexionspunkts an einem gemessenen Objekt und eine Klassifizierung des gemessenen Objekts als punktförmig oder linienförmig umfasst, wobei das Ergebnis (20) der Abstandsmessung ferner die Anzahl von Objektmerkmalen umfasst.

6. Türschutz-Steuersystem nach einem der vorhergehenden Ansprüche, wobei die Kamera-Steuereinheit (15) und/oder die Türschutz-Steuereinheit (17) ferner dazu eingerichtet ist, für ein jeweiliges in dem aufgenommenen Bild erkanntes Objekt anhand des Ergebnisses (20) der Abstandsmessung durch die Ultraschall-Steuereinheit (16) eine Höhe des Objekts zu bestimmen, wobei das Ergebnis (19) der Objekterkennung ferner die bestimmte Höhe des jeweiligen Objekts umfasst.

7. Türschutz-Steuersystem nach einem der vorhergehenden Ansprüche, wobei die Türschutz-Steuereinheit (17) dazu eingerichtet ist: anhand des Ergebnisses (20) der Abstandsmessung zu bestimmen, ob ein punktförmiges oder ein linienförmiges Objekt in dem Schwenkbereich (10) vorhanden ist; anhand des Ergebnisses (19) der Objekterkennung zu bestimmen, ob in dem Schwenkbereich (10) ein hohes linienförmiges Objekt vorhanden ist, das als hoch klassifiziert ist oder dessen bestimmte Höhe über einem vorbestimmten Schwellwert liegt; und das Vorhandensein des tatsächlichen Hindernisses (9) zu bestimmen, wenn ein punktförmiges Objekt in dem Schwenkbereich (10) vorhanden ist oder wenn in dem Schwenkbereich (10) ein hohes linienförmiges Objekt vorhanden ist.

8. Türschutz-Steuersystem nach einem der vorhergehenden Ansprüche, wobei die Kamera-Steuereinheit (15), die Ultraschall-Steuereinheit (16) und die Türschutz- Steuereinheit (17) als mehrere Steuergeräte implementiert sind, die über einen Bus (18) miteinander kommunikationsverbunden sind.

9. Türschutzsystem (200) für ein Kraftfahrzeug (1 ), umfassend das Türschutz-Steuersystem (100) nach einem der vorhergehenden Ansprüche, den einen oder die mehreren Ultraschallsensoren (2) und die Kameravorrichtung (6).

10. Kraftfahrzeug (1 ), aufweisend: einen oder mehrere Ultraschallsensoren (2), die an einem unteren Randabschnitt der seitlichen Tür (4) oder unterhalb der seitlichen Tür (4) angeordnet sind, eine Kameravorrichtung (6), in deren Sichtfeld sich mindestens ein Abschnitt eines Schwenkbereichs (10) der seitlichen Tür (4) befindet, und das Türschutz-Steuersystem (100) nach einem der Ansprüche 1 bis 8.

11 . Kraftfahrzeug nach Anspruch 10, wobei die Kameravorrichtung (6) an einer A-Säule (7), an einer B-Säule (8) oder an einem Seitenspiegel (5) des Kraftfahrzeugs (1 ) angeordnet ist.

12. Kraftfahrzeug nach Anspruch 10, wobei die Kameravorrichtung (6) eine an einer Unterseite eines Seitenspiegels (5) des

Kraftfahrzeugs (1) angeordnete Fischaugenkamera ist.

13. Kraftfahrzeug nach einem der Ansprüche 10 bis 12, wobei das Sichtfeld der Kameravorrichtung (6) mindestens einen Bereich unmittelbar neben der seitlichen Tür (4) abdeckt, der vom Boden mindestens bis zu einer Unterkante einer Fensterscheibe (12) der seitlichen Tür (4) reicht.

14. Verfahren zum Erkennen eines Hindernisses (9) in einem Schwenkbereich (10) einer seitlichen Tür (4) eines Kraftfahrzeugs (1 ) mit einem oder mehreren Ultraschallsensoren (2), die an einem unteren Randabschnitt der seitlichen Tür (4) oder unterhalb der seitlichen Tür (4) angeordnet sind, und einer Kameravorrichtung (6), in deren Sichtfeld sich mindestens ein Abschnitt des Schwenkbereichs (10) befindet, wobei das Verfahren umfasst:

Aufnehmen (S1), mittels der Kameravorrichtung (6), eines Bildes des Schwenkbereichs (10) und Durchführen (S2) einer Objekterkennung an dem aufgenommenen Bild;

Durchführen (S3), mittels dem einen oder den mehreren Ultraschallsensoren (2), einer Abstandsmessung in dem Schwenkbereich (10) der seitlichen Tür (4);

Bestimmen (S4), anhand eines Ergebnisses (19) der durchgeführten Objekterkennung und anhand eines Ergebnisses (20) der durchgeführten Abstandsmessung, ob ein tatsächliches Hindernis (9) in dem Schwenkbereich (10) der seitlichen Tür (4) vorhanden ist; und im Falle des Vorhandenseins des tatsächlichen Hindernisses (9), Erzeugen (S5) eines Signals, welches das Vorhandensein des tatsächlichen Hindernisses (9) angibt.

15. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung durch ein o- der mehrere Steuergeräte eines Kraftfahrzeugs (1) mit einem oder mehreren Ultraschallsensoren (2), die an einem unteren Randabschnitt der seitlichen Tür (4) oder unterhalb der seitlichen Tür (4) angeordnet sind, und einer Kameravorrichtung (6), in deren Sichtfeld sich mindestens ein Abschnitt des Schwenkbereichs (10) befindet, das eine oder die mehreren Steuergeräte dazu veranlassen, das Verfahren nach Anspruch 14 auszuführen.

Description:
TÜRSCHUTZ-STEUERSYSTEM, TÜRSCHUTZSYSTEM, KRAFTFAHRZEUG UND VER¬

FAHREN

Die vorliegende Erfindung betrifft das Gebiet der Türschutzsysteme für Kraftfahrzeuge und im Speziellen ein Türschutz-Steuersystem und ein Verfahren zum Erkennen eines Hindernisses in einem Schwenkbereich einer seitlichen Tür eines Kraftfahrzeugs, ein Türschutzsystem, ein Kraftfahrzeug und ein Computerprogrammprodukt.

Kraftfahrzeuge werden mit Ultraschall-Sendeempfängern ausgestattet, die Ultraschall-Sendesignale in eine Umgebung des Kraftfahrzeugs aussenden und Ultraschall-Echosignale aus der Umgebung des Kraftfahrzeugs empfangen, um auf diese Weise Informationen über die Umgebung des Kraftfahrzeugs zu erfassen. Kraftfahrzeuge werden auch mit Kameravorrichtungen ausgestattet, die beispielsweise dazu dienen, einem Fahrer des Kraftfahrzeugs und/oder einer Vorrichtung für teil- oder vollautonomes Fahren Bildaufnahmen einer Umgebung des Kraftfahrzeugs bereitzustellen. Der Trend geht hierbei zu einer 360°-Runduman- sicht des Kraftfahrzeugs.

Es ist wünschenswert, in Parksituationen, wenn eine seitliche Tür des Kraftfahrzeugs geöffnet werden soll und sich ein Hindernis in einem Schwenkbereich der seitlichen Tür befindet, das Öffnen der Tür automatisch zu blockieren und/oder ein Warnsignal auszugeben.

Bei der Überwachung eines Schwenkbereichs einer Tür mittels einer Kameravorrichtung stellt sich das Problem, dass in den von der Kameravorrichtung gelieferten Bildern zwar Objekte in dem Schwenkbereich erkannt werden können, es jedoch schwierig sein kann, deren genaue Positionen und Abmessungen zu bestimmen.

Bei der Überwachung des Schwenkbereichs mittels Ultraschallsensoren stellt sich das Problem, dass es schwierig ist, Ultraschallsensoren derart an dem Kraftfahrzeug anzubringen, dass die Ultraschallsensoren den gesamten Schwenkbereich der seitlichen Tür erfassen. In einem Hauptabschnitt einer Tür aus Stahl lassen sich beispielsweise keine Ultraschallsensoren anbringen. Somit besteht aus technischen und zudem auch aus ästhetischen Gründen die Notwendigkeit, Ultraschallsensoren für das Türschutzsystem nicht an einem Hauptabschnitt der seitlichen Tür, sondern an einem niedrigen, wenig sichtbaren Karosseriebauteil, wie einem Seitenschweller des Kraftfahrzeugs unterhalb der Tür oder an einer Rammschutzleiste der Tür anzuordnen. Hierbei wird angenommen, dass es genügt, einen unteren Abschnitt einer Mauer oder dergleichen zu erkennen, um ein Hindernis für das Öffnen der Tür zu ermitteln. Jedoch entsteht ein gewisser Blindbereich, der von den solchermaßen angeordneten Ultraschallsensoren nicht eingesehen wird. In dem Blindbereich würde sich beispielsweise ein horizontaler Balken befinden, der in einer bestimmten Höhe oberhalb des Seitenschwellers seitlich hinreichend nahe neben dem Kraftfahrzeug verläuft. Somit entsteht ein unerwünschtes Risiko von Beschädigungen der Tür, weil der Balken übersehen wird. Außerdem ist es schwierig, mit niedrig angeordneten Ultraschallsensoren bei Erkennung eines potentiellen Hindernisses zwischen einer niedrigen Bordsteinkante und einer hohen Mauer zu unterscheiden. Somit entsteht eine Unsicherheit bei der Bestimmung, ob tatsächlich ein Hindernis für das Öffnen der Tür vorliegt.

Die US 2019/322216 A1 lehrt ein Kraftfahrzeug mit einer Türüberwachungskamera zur Überwachung eines Schwenkbereichs und mit Schallsensoren. Die Schallsensoren sind an einem Kotflügel des Fahrzeugs angeordnet, und das Sichtfeld der Schallsensoren und das Sichtfeld der Türüberwachungskamera überlappen einander nicht. Die Schallsensoren werden eingesetzt, um das Sichtfeld des Türüberwachungssystems zu erweitern.

Die WO 20002332A1 lehrt eine Überwachungsvorrichtung zum Überwachen eines Türbereichs einer Fahrzeugtür für ein Fahrzeug, bei dem es sich um ein öffentliches Verkehrsmittel handelt, mittels einer Umfelderfassungseinrichtung, die eine Laufzeitmessungseinrichtung, eine Videokamera und/oder einen Infrarotsensor umfassen kann. Erkannte Objekte werden als Person, Gegenstand oder Wetterelement klassifiziert. Abhängig von der Klassifikation wird die Tür offen gehalten. Vor diesem Hintergrund liegt der Erfindung als Aufgabe zugrunde, ein zuverlässiges Türschutz-Steuersystem zum Erkennen von Hindernissen in einem Schwenkbereich einer seitlichen Tür eines Kraftfahrzeugs bereitzustellen, bei dem an einem Hauptabschnitt der Tür des Kraftfahrzeugs keine Ultraschallsensoren angebracht zu sein brauchen.

Gemäß einem ersten Aspekt wird die Aufgabe gelöst durch ein Türschutz-Steuersystem zum Erkennen eines Hindernisses in einem Schwenkbereich einer seitlichen Tür eines Kraftfahrzeugs mit einem oder mehreren Ultraschallsensoren, die an einem unteren Randabschnitt der seitlichen Tür oder unterhalb der seitlichen Tür angeordnet sind, und einer Kameravorrichtung, in deren Sichtfeld sich mindestens ein Abschnitt des Schwenkbereichs befindet.

Das Türschutz-Steuersystem weist auf: eine Kamera-Steuereinheit, die dazu eingerichtet ist, mittels der Kameravorrichtung ein Bild des Schwenkbereichs aufzunehmen und eine Objekterkennung an dem aufgenommenen Bild durchzuführen; eine Ultraschall-Steuereinheit, die dazu eingerichtet ist, mittels dem einen oder der mehreren Ultraschallsensoren eine Abstandsmessung in dem Schwenkbereich der seitlichen Tür durchzuführen; und eine Türschutz-Steuereinheit, die dazu eingerichtet ist, anhand eines Ergebnisses der von der Kamera-Steuereinheit durchgeführten Objekterkennung und anhand eines Ergebnisses der von der Ultraschall-Steuereinheit durchgeführten Abstandsmessung zu bestimmen, ob ein tatsächliches Hindernis in dem Schwenkbereich der seitlichen Tür vorhanden ist, und, im Falle des Vorhandenseins des tatsächlichen Hindernisses, ein Signal zu erzeugen, welches das Vorhandensein des tatsächlichen Hindernisses angibt.

Demgemäß kann durch Zusammenführen der Ergebnisse der von der Kamera-Steuereinheit durchgeführten Objekterkennung und der Ergebnisse der von der Ultraschall-Steuereinheit durchgeführten Abstandsmessung die Überwachung des Schwenkbereichs der seitlichen Tür vorteilhaft verbessert werden.

Hierbei kann auf eine in modernen Kraftfahrzeugen mit Fahrerassistenzfunktionen sowieso vorhandene Kameravorrichtung, beispielsweise eine Kameravorrichtung eines Rundumsichtsystems, zurückgegriffen werden und es ist vorteilhafterweise nicht erforderlich, neben den unterhalb oder unten an der Tür angeordneten Ultraschallsensoren weitere zusätzliche Sensoren speziell für die Türschutzfunktionalität vorzusehen. Somit kann eine Teilezahl vorteilhaft reduziert werden.

Insbesondere können die Ergebnisse der Objekterkennung vorteilhaft berücksichtigt werden, um zu entscheiden, ob ein Objekt in dem Schwenkbereich von der Tür überschwenkbar (niedrig) oder nicht überschwenkbar (hoch) ist. Insbesondere können die Ergebnisse der Abstandsmessung vorteilhaft verwendet werden, um zu ermitteln, ob das Objekt in dem oder außerhalb des Schwenkbereichs der Tür angeordnet ist. Insbesondere kann durch Zusammenführen der Ergebnisse der Objekterkennung und der Abstandsmessung eine Höhe des Objekts selbst dann exakter bestimmt werden, wenn sich eine obere Kante des Objekts oberhalb des Sichtbereichs der Ultraschallsensoren befindet.

Für das vorteilhafte Zusammenführen der Ergebnisse der Objekterkennung und der Ergebnisse der Abstandsmessung ist es nicht erforderlich, die rohen Bilddaten oder die rohen Ultraschallmessdaten an die Türschutz-Steuereinheit bereitzustellen. Vielmehr reicht es vorteilhaft aus, datensparsame Ergebnisse (Ergebnisdaten, ausgewertete Daten, Angaben etc.) an die Türschutz-Steuereinheit bereitzustellen, um die vorteilhaften Effekte der besseren Überwachung des Schwenkbereiches zu erzielen. Somit wird eine Last auf einem Datenbus, der die diversen Steuereinheiten miteinander kommunikativ verbindet, vorteilhaft gesenkt.

Insbesondere überlappt mindestens ein Abschnitt des Sichtfelds der Kameravorrichtung mindestens einen Abschnitt eines Sichtfelds der Ultraschallsensoren.

Ein Beispiel für einen unteren Randabschnitt der seitlichen Tür, an dem die Ultraschallsensoren angebracht sein können, ist eine Rammschutzleiste aus Kunststoff, die am unteren Rand eines metallischen Hauptabschnitts der seitlichen Tür angebracht ist. Ein Beispiel für eine Anbringung der Ultraschallsensoren unterhalb der seitlichen Tür ist eine Anbringung der Ultraschallsensoren an einem Seitenschweller des Kraftfahrzeugs unterhalb der seitlichen Tür. Das Durchführen der Objekterkennung an dem aufgenommenen Bild kann mittels analytischer Bildverarbeitung und/oder mittels maschinellen Lernens, beispielsweise unter Verwendung eines trainierten neuronalen Netzwerks, erfolgen. Beispiele für ein Ergebnis der Objekterkennung sind Angaben zu den in dem Schwenkbereich erkannten Objekten, wie deren Art (Mauer, Bordstein, Balken, Baum, Zaun, Pfosten etc.) und dergleichen.

Die Abstandsmessung in dem Schwenkbereich der seitlichen Tür umfasst insbesondere das Aussenden, mit den Ultraschallsensoren, von Ultraschall-Sendesignalen und das Empfangen, mit den Ultraschallsensoren, von Ultraschall-Empfangssignalen, bei denen es sich um an Reflexionspunkten in dem Schwenkbereich reflektierte Reflexionen der Ultraschall-Sendesignale handelt. Anhand eines zeitlichen Abstands zwischen Aussenden des jeweiligen Sendesignals und Empfangen des zugehörigen Ultraschall-Empfangssignals kann ein Abstand zu dem Reflexionspunkt bestimmt werden. Anhand mehrerer solcher Messungen kann beispielsweise durch Trilateration eine räumliche Lage des Reflexionspunkts bestimmt werden. Der Reflexionspunkt ist ein Punkt an einem Objekt in Schwenkbereich, an dem das Ultraschall-Sendesignal reflektiert wurde. Die bestimmten Abstände und die bestimmten räumlichen Lagen sind Beispiele für ein Ergebnis der Abstandsmessung.

Das Signal, welches das Vorhandensein des tatsächlichen Hindernisses angibt, kann ein akustisches oder visuelles Warnsignal für einen Fahrer des Kraftfahrzeugs sein. Das Signal kann auch ein Steuersignal sein, welches dazu eingerichtet ist, ein Öffnen der seitlichen Tür des Kraftfahrzeugs zu sperren.

Die Kamera-Steuereinheit, die Ultraschall-Steuereinheit und die Türschutz-Steuereinheit können ein jeweiliges elektronisches Steuergerät (ECU - Electronic Control Unit) des Kraftfahrzeugs sein. In diesem Fall können die Einheiten über einen Datenbus miteinander kommunikationsverbunden sein. Die jeweiligen Einheiten können auch jeweils isolierte Computerprogrammprodukte sein, die auf einem gemeinsamen elektronischen Steuergerät des Kraftfahrzeugs ausgeführt werden. In diesem Fall können die Einheiten über eine Programmierschnittstelle (API - Application Programming Interface), über Message Passing, über eine Loopback-Schnittstelle, über einen internen Datenbus oder über einen anderen internen Übertragungsweg des elektronischen Steuergeräts miteinander kommunikationsverbunden sein.

Gemäß einer Ausführungsform ist die Ultraschall-Steuereinheit dazu eingerichtet, die Abstandsmessung durchzuführen, während das Kraftfahrzeug steht.

Bei stehendem Kraftfahrzeug sind die Möglichkeiten, den Schwenkbereich mittels Ultraschall zu vermessen, eingeschränkt. Während bei fahrendem Fahrzeug sich der Blindbereich mit dem Fahrzeug verschiebt und zudem Verschiebungen von Reflexionspunkten in Reaktion auf Positionsänderungen des Fahrzeugs genutzt werden können, um weitere Informationen über Objekte in einem seitlichen Umfeld des Fahrzeugs zu gewinnen (etwa über ihre Form, Ausdehnung und dergleichen), ist die Ultraschall-Abstandsmessung bei stehendem Kraftfahrzeug auf das Bestimmen von Abständen in dem tatsächlichen Sichtbereich der Ultraschallsensoren beschränkt. Diese Einschränkungen können durch das vorgeschlagene vorteilhafte Zusammenführen von Ergebnissen der Objekterkennung an dem aufgenommenen Bild mit den Ergebnissen der Ultraschall-Abstandsmessungen überwunden werden.

Gemäß einer weiteren Ausführungsform ist die Kamera-Steuereinheit ferner dazu eingerichtet ist, für ein jeweiliges in dem aufgenommenen Bild erkanntes Objekt eine Objektklassifikation zu erzeugen, die das erkannte Objekt nach Art und Höhe klassifiziert. Das Ergebnis der Objekterkennung umfasst die jeweilige Objektklassifikation.

Eine Klassifikation nach Art kann insbesondere eine Angabe einer von mehreren vordefinierten Arten erkannter Objekte umfassen. Beispiele für vordefinierte Objektarten umfassen "linienförmiges Objekt", "Bordstein", "Mauer", "Pfosten", "Wand", "Kopfsteinpflaster" und dergleichen mehr. Eine Klassifikation nach Höhe kann insbesondere eine Klassifikation als "niedrig" (von der seitlichen Tür des Kraftfahrzeugs überschwenkbar) oder eine Klassifikation als "hoch" (von der Tür des seitlichen Kraftfahrzeugs nicht überschwenkbar) umfassen. Die Klassifikation nach Höhe kann beispielsweise ontologisch von der Klassifikation nach Art abgeleitet werden, beispielsweise kann ein Bordstein und ein Kopfsteinpflaster stets als niedrig klassifiziert werden, eine Mauer kann stets als hoch klassifiziert werden usw. Die Klassifikation nach Höhe kann jedoch auch direkt mittels analytischer Bildverarbeitung und/oder mittels maschinellen Lernens, beispielsweise unter Verwendung eines trainierten neuronalen Netzwerks, erfolgen.

Die Türschutz-Steuereinheit kann die in dem Ergebnis der Objekterkennung umfassten Objektklassifikationen mit den in dem Ergebnis der Abstandsmessung umfassten Abstandsinformationen in Beziehung setzen und auf dieser Grundlage vorteilhafterweise zu einer korrekten Entscheidung kommen, ob ein tatsächliches Hindernis für das Öffnen der seitlichen Tür vorliegt. Beispielsweise stellt eine hohe Wand kein Hindernis dar, wenn basierend auf den Abstandsinformationen ermittelt wird, dass sie sich außerhalb des Schwenkbereichs befindet. Beispielsweise stellt ein bei der Abstandsmessung identifiziertes linienförmiges Objekt innerhalb des Schwenkbereiches dennoch kein tatsächliches Hindernis da, wenn sich aus der Objektklassifikation ergibt, dass das Objekt lediglich ein Bordstein ist.

Gemäß einer weiteren Ausführungsform ist die Kamera-Steuereinheit ferner dazu eingerichtet, für ein jeweiliges in dem aufgenommenen Bild erkannte Objekt eine Position und/oder eine Orientierung des Objekts in dem Bild zu bestimmen, und das Ergebnis der Objekterkennung umfasst ferner die Position und/oder die Orientierung des jeweiligen Objekts.

Die anhand des aufgenommenen Bildes bestimmte Position ist insbesondere eine relative Position in dem Bild, beispielsweise in Pixelkoordinaten. Diese Positionsangabe erlaubt für sich genommen gegebenenfalls keine sichere Bestimmung einer Höhe eines erkannten Objekts und/oder keine sichere Bestimmung, ob sich das Objekt in dem Schwenkbereich der seitlichen Tür befindet. Die relative Position in dem Bild kann jedoch vorteilhafterweise mit den Ergebnissen der Abstandsmessung in Beziehung gesetzt und auf diese Weise vorteilhafterweise eine absolute Positionsangabe ermittelt werden. Gemäß einer weiteren Ausführungsform ist die Ultraschall-Steuereinheit ferner dazu eingerichtet, anhand der durchgeführten Abstandsmessung eine Anzahl von Objektmerkmalen von bei der Abstandsmessung gemessenen Objekten zu erzeugen. Ein jeweiliges Objektmerkmal umfasst mindestens eine Position eines Reflexionspunkts an einem gemessenen Objekt und eine Klassifizierung des gemessenen Objekts als punktförmig oder linienförmig. Das Ergebnis der Abstandsmessung umfasst ferner die Anzahl von Objektmerkmalen.

Demgemäß kann das Ergebnis der Abstandsmessung vorteilhafterweise nicht nur einen Abstand, sondern eine genaue Position und eine Klassifizierung von mittels Ultraschall gemessener Objekte umfassen. Die Entscheidung, ob ein tatsächliches Hindernis vorliegt, kann anhand dieser Informationen weiter verbessert werden.

Unter einem "punktförmigen" Objekt ist insbesondere ein Objekt zu verstehen, bei dem Ultraschallsignale, die von verschiedenen, voneinander beabstandeten der mehreren Ultraschallsensoren ausgesendet werden, im Wesentlichen an einem gleichen Punkt des Objekts oder an unterschiedlichen Punkten, die weniger als einen vorbestimmten Abstand voneinander entfernt sind, reflektiert werden. Beispiele für punktförmige Objekte sind Pfosten, Ecken von Gebäuden und Wänden, und dergleichen. Unter einem "linienförmigen" Objekt ist insbesondere ein Objekt zu verstehen, bei dem Ultraschallsignale, die von verschiedenen, voneinander beabstandeten Ultraschallsensoren ausgesendet werden, an deutlich verschiedenen Punkten des Objekts reflektiert werden bzw. an verschiedenen Punkten reflektiert werden, die mehr als den vorbestimmten Abstand voneinander entfernt sind. Beispiele für linienförmige Objekte sind Mauern, Wände, Bordsteinkanten und dergleichen.

Eine Klassifizierung als "punktförmig" oder "linienförmig" kann erfolgen, indem ermittelt wird, ob sich mehrere konstruierte Ortskurven - wie Kreise mit dem jeweiligen Ultraschallsensor als Mittelpunkt und dem bestimmten Abstand als Radius -, die mögliche Reflexionspunkte angeben, in einem selben Schnittpunkt schneiden oder nicht. Plausibilitätserwägungen und heuristische Datenbanken können ebenfalls für diese Klassifizierung herangezogen werden. Ein Objektmerkmal eines punktförmigen Objekts kann insbesondere eine zweidimensionale Koordinate umfassen. Ein Objektmerkmal eines linienförmigen Objekts kann zwei zweidimensionale Koordinaten (Anfangspunkt und Endpunkt) oder eine zweidimensionale Koordinate (Anfangs oder Endpunkt), eine Längenangabe und eine Richtungsangabe umfassen.

Gemäß einer weiteren Ausführungsform ist die Kamera-Steuereinheit und/oder die Kamera- Türschutz-Steuereinheit ferner dazu eingerichtet, für ein jeweiliges in dem aufgenommenen Bild erkanntes Objekt anhand des Ergebnisses der Abstandsmessung durch die Ultraschall- Steuereinheit eine Höhe des Objekts zu bestimmen. Das Ergebnis der Objekterkennung umfasst ferner die bestimmte Höhe des jeweiligen Objekts.

Insbesondere kann anhand eines gemessenen Abstands die Kamera-Steuereinheit eine Pixeldichte an der Position des erkannten Objekts in dem aufgenommenen Bild bestimmen. Demgemäß kann sie vorteilhaft eine relative Position (Pixelkoordinate), relative Ausdehnung (Ausdehnung in Pixeln, insbesondere eine relative Höhe in Pixeln) und dergleichen des erkannten Objekts in dem aufgenommenen Bild anhand der bestimmten Pixeldichte in eine absolute Position und eine absolute Ausdehnung umrechnen und insbesondere eine tatsächliche Höhenausdehnung (Höhe) des Objekts berechnen.

Somit kann die Türschutz-Steuereinheit vorteilhaft die Bestimmung, ob ein tatsächliches Hindernis vorliegt, basierend auf einem Vergleich der bestimmten Höhe des Objekts mit einem vorbekannten Bodenabstand einer Unterkante der seitlichen Tür durchführen.

Insbesondere, wenn die Kamera-Steuereinheit die Höhe des Objekts bestimmt, kann sie die bestimmte Höhe des Objekts als Teil des Ergebnisses der Objekterkennung an die Türschutz-Steuereinheit übermitteln. Wenn die Türschutz-Steuereinheit die Höhe des Objekts bestimmt, kann die Kamera-Steuereinheit die bestimmte relative Höhe sowie einen bestimmten relativen Abstand zwischen der seitlichen Tür und dem erkannten Objekt in dem aufgenommenen Bild als Teil des Ergebnisses der Objekterkennung an die Türschutz-Steuerein- heit übermitteln, und die Türschutz-Steuereinheit kann das empfangene Ergebnis der Objekterkennung durch die von ihr anhand der relativen Höhe, des relativen Abstands und des gemessenen Abstands bestimmte Höhe ergänzen.

Gemäß einer weiteren Ausführungsform ist die Türschutz-Steuereinheit dazu eingerichtet, anhand des Ergebnisses der Abstandsmessung zu bestimmen, ob ein punktförmiges oder ein linienförmiges Objekt in dem Schwenkbereich vorhanden ist; anhand des Ergebnisses der Objekterkennung zu bestimmen, ob in dem Schwenkbereich ein linienförmiges Objekt vorhanden ist, das als hoch klassifiziert ist oder dessen bestimmte Höhe über einem vorbestimmten Schwellwert liegt; und das Vorhandensein des tatsächlichen Hindernisses zu bestimmen, wenn ein punktförmiges Objekt in dem Schwenkbereich vorhanden ist oder wenn in dem Schwenkbereich ein hohes linienförmiges Objekt vorhanden ist.

Ein Objekt, das bei der Abstandsmessung als punktförmig klassifiziert ist, wie ein Pfosten, ist in der Regel immer ein hohes Hindernis, daher kann es unmittelbar als tatsächliches Hindernis erkannt werden. Ein linienförmiges Objekt könnte eine niedrige, überschwenkbare Bordsteinkante, aber auch eine hohe Wand sein. Jedoch kann die Ultraschall-Steuereinheit basierend auf der Messung mit den Ultraschallsensoren ggf. nicht zwischen einer Bordsteinkante und einer Wand unterscheiden. Durch Zusammenführen der Ergebnisse der Ultraschallmessung mit den Ergebnissen der Objekterkennung, insbesondere der Objektklassifizierung als hoch oder niedrig oder der genauen Bestimmung der Höhe des Objekts, kann jedoch zuverlässig zwischen einer Bordsteinkante und einer Wand unterschieden werden.

Auch wenn ein potentiell in einer bestimmten Höhe verlaufender horizontaler Balken von den Ultraschallsensoren "übersehen" wird, kann die Türschutz-Steuereinheit somit korrekt das Vorhandensein eines tatsächlichen Hindernisses bestimmen.

Demgemäß ist vorteilhaft in allen denkbaren Konstellationen eine zuverlässige Erkennung tatsächlicher Hindernisse in dem Schwenkbereich möglich. Gemäß einer weiteren Ausführungsform sind die Kamera-Steuereinheit, die Ultraschall-Steuereinheit und die Türschutz-Steuereinheit als mehrere Steuergeräte implementiert, die über einen Bus miteinander kommunikationsverbunden sind.

Insbesondere ist denkbar, dass in einem Kraftfahrzeug die Kamera-Steuereinheit und die Ultraschall-Steuereinheit von verschiedenen Zulieferern bereitgestellt werden. Mit der vorgeschlagenen Lösung kann die Türschutz-Steuereinheit von einem der beiden Zulieferer oder von einem dritten Zulieferer bereitgestellt werden, und die Ergebnisse, die zwischen den drei Steuereinheiten übermittelt werden, sind datensparsam und stellen keine störende Last auf dem Datenbus dar.

Gemäß einem zweiten Aspekt wird ein Türschutzsystem für ein Kraftfahrzeug vorgeschlagen, welches das Türschutz-Steuersystem des ersten Aspekts oder einer der Ausführungsformen des ersten Aspekts, den einen oder die mehreren Ultraschallsensoren und die Kameravorrichtung umfasst.

Gemäß einem dritten Aspekt wird ein Kraftfahrzeug vorgeschlagen, das aufweist: einen oder mehrere Ultraschallsensoren, die an einem unteren Randabschnitt der seitlichen Tür oder unterhalb der seitlichen Tür angeordnet sind, eine Kameravorrichtung, in deren Sichtfeld sich mindestens ein Abschnitt eines Schwenkbereichs der seitlichen Tür befindet, und das Türschutz-Steuersystem des ersten Aspekts oder einer der Ausführungsformen des ersten Aspekts.

Gemäß einer Ausführungsform des dritten Aspekts ist die Kameravorrichtung an einer A- Säule, an einer B-Säule oder an einem Seitenspiegel des Kraftfahrzeugs angeordnet.

Bei der an der A-Säule angeordneten Kameravorrichtung kann es sich insbesondere beispielsweise um eine Außenspiegelersatz-Kamera handeln, die anstelle eines Außenspiegels an der A-Säule angebracht ist und ein Bild liefert, das im Kraftfahrzeuginneren auf einem Display für den Fahrer des Kraftfahrzeugs dargestellt und/oder von einer Steuereinheit für teil- oder vollautonomes Fahren ausgewertet wird.

Gemäß einer weiteren Ausführungsform des dritten Aspekts ist die Kameravorrichtung eine an einer Unterseite eines Seitenspiegels des Kraftfahrzeugs angeordnete Fischaugenkamera.

Gemäß einer weiteren Ausführungsform deckt das Sichtfeld der Kameravorrichtung mindestens einen Bereich unmittelbar neben der seitlichen Tür ab, der vom Boden mindestens bis zu einer Unterkante einer Fensterscheibe der seitlichen Tür reicht.

Demgemäß kann die Kameravorrichtung vorteilhaft auch einen Blindbereich der Ultraschallsensoren in einem Nahbereich neben der seitlichen Tür einsehen.

Gemäß einem vierten Aspekt wird ein Verfahren vorgeschlagen, das zum Erkennen eines Hindernisses in einem Schwenkbereich einer seitlichen Tür eines Kraftfahrzeugs vorgesehen ist, welches eine oder mehrere Ultraschallsensoren, die an einem unteren Randabschnitt der seitlichen Tür oder unterhalb der seitlichen Tür angeordnet sind, und eine Kameravorrichtung aufweist, in deren Sichtfeld sich mindestens ein Abschnitt des Schwenkbereichs befindet.

Das Verfahren umfasst die Schritte: Aufnehmen, mittels der Kameravorrichtung, eines Bildes des Schwenkbereichs und Durchführen einer Objekterkennung an dem aufgenommenen Bild; Durchführen, mittels der mehreren Ultraschallsensoren, einer Abstandsmessung in dem Schwenkbereich der seitlichen Tür; Bestimmen, anhand eines Ergebnisses der durchgeführten Objekterkennung und anhand eines Ergebnisses der durchgeführten Abstandsmessung, ob ein tatsächliches Hindernis in dem Schwenkbereich der seitlichen Tür vorhanden ist; und, im Falle des Vorhandenseins des tatsächlichen Hindernisses, Erzeugen eines Signals, welches das Vorhandensein des tatsächlichen Hindernisses angibt. Gemäß einem fünften Aspekt wird ein Computerprogrammprodukt vorgeschlagen, das Befehle umfasst, die bei der Ausführung durch ein oder mehrere Steuergeräte eines Kraftfahrzeugs mit einem oder mehreren Ultraschallsensoren, die an einem unteren Randabschnitt der seitlichen Tür oder unterhalb der seitlichen Tür angeordnet sind, und einer Kameravorrichtung, in deren Sichtfeld sich mindestens ein Abschnitt des Schwenkbereichs befindet, das eine oder die mehreren Steuergeräte dazu veranlassen, das Verfahren des vierten Aspekts auszuführen.

Ein jeweiliges Computerprogrammprodukt kann beispielsweise als Speichermedium, wie zum Beispiel als Speicherkarte oder USB-Stick, oder auch in Form einer ladbaren Datei bereitgestellt oder geliefert werden. Das Speichermedium kann beispielsweise in das Steuergerät eingelegt oder an diese angeschlossen werden. Die ladbare Datei kann beispielsweise von einem Server oder dergleichen über ein drahtgebundenes oder drahtloses Netzwerk auf das Steuergerät geladen werden.

Die für das vorgeschlagene Türschutz-Steuersystem des ersten Aspekts beschriebenen Merkmale, Definitionen, Vorteile und Ausführungsformen gelten entsprechend auch für das vorgeschlagene Türschutzsystem des zweiten Aspekts, das vorgeschlagene Kraftfahrzeug des dritten Aspekts, das vorgeschlagene Verfahren des vierten Aspekts und das vorgeschlagene Computerprogrammprodukt des fünften Aspekts.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.

Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher erläutert.

Fig. 1 zeigt eine schematische Seitenansicht eines Kraftfahrzeugs gemäß einem Ausführungsbeispiel;

Fig. 2 zeigt eine schematische Draufsicht auf das Kraftfahrzeug aus Fig. 1 ;

Fig. 3 veranschaulicht funktionale Einheiten eines Türschutzsystems des Kraftfahrzeugs aus Fig. 1 ; und

Fig. 4 veranschaulicht ein Verfahren zum Erkennen eines Hindernisses gemäß einem Ausführungsbeispiel.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.

Fig. 1 zeigt eine schematische Seitenansicht eines Kraftfahrzeugs 1 , und Fig. 2 zeigt eine schematische Draufsicht auf das Kraftfahrzeug aus Fig. 1. Es wird auf Fig. 1 und Fig. 2 Bezug genommen. Das Kraftfahrzeug 1 weist mehrere Ultraschallsensoren 2 auf, die an einem Seitenschweller 3 unterhalb einer seitlichen Tür 4 des Kraftfahrzeugs 1 angeordnet sind. Das Kraftfahrzeug 1 weist ferner eine Kameravorrichtung 6 auf, die an einer Unterseite eines Seitenspiegels 5 des Kraftfahrzeugs 1 angeordnet ist. Ein Sichtfeld der Kameravorrichtung 6 überlappt sich mit einem Sichtfeld der Ultraschallsensoren 2. Insbesondere deckt das Sichtfeld der Kameravorrichtung 6 mindestens einen Bereich unmittelbar neben der seitlichen Tür 4 ab, der vom Boden mindestens bis zu einer Unterkante der Fensterscheibe 12 der seitlichen Tür 4 reicht. Die Kameravorrichtung 6 ist beispielsweise eine Fischaugenkamera eines Rundumsichtsystems des Kraftfahrzeugs 1 .

Fig. 1 zeigt ferner einen horizontal in einer bestimmten Höhe über dem Boden verlaufenden Balken 9 (im Weiteren "Hindernis 9"). Das Hindernis 9 befindet sich teilweise in einem Schwenkbereich 10 (Fig. 2) der seitlichen Tür 4 des Kraftfahrzeugs 1 . Spezieller ist ein Abschnitt des Hindernisses 9, der sich in dem Schwenkbereich 10 befindet, in einem in Fig. 2 gezeigten Nahbereich 1 1 innerhalb des Schwenkbereichs 10 der Tür 4 angeordnet. Der Nahbereich 11 ist ein Bereich von rein beispielhaft 30-35 cm Breite in einer horizontalen Querrichtung des Kraftfahrzeugs 1 und erstreckt sich in der vertikalen Richtung vom Boden bis zu einer Höhe der Unterkante einer Fensterscheibe 12 der Tür 4.

Die Ultraschallsensoren 2 arbeiten mit Ultraschallkeulen mit einem Öffnungswinkel von rein beispielhaft 45°. Aus Betrachtung von Fig. 1 in Verbindung mit Fig. 2 wird deutlich, dass in dem in Fig. 1 gezeigten Zustand, in dem das Kraftfahrzeug 1 steht und sich das Hindernis 9 in dem Nahbereich 1 1 befindet, das Hindernis 9 von keinem der Ultraschallsensoren 2 gesehen wird. Dies gilt selbst dann, wenn in einer optionalen Weiterbildung des Ausführungsbeispiels ein weiterer Ultraschallsensor 13 in einem Türgriff 14 der Tür 4 eingebaut ist. Um das Hindernis 9 auch dann mit den Ultraschallsensoren 2 zu sehen, wenn es sich in dem Nahbereich 11 befindet, müssten weitere Ultraschallsensoren in regelmäßigen Abständen in vertikaler Richtung an dem Hauptabschnitt 21 der Tür 4 angebracht werden. Dies ist kostenaufwendig und kann zudem aus ästhetischen Gründen unerwünscht oder aus technischen Gründen unmöglich sein, etwa wenn es sich bei der Tür 4 um eine Stahltür handelt.

Fig. 3 veranschaulicht funktionale Einheiten eines Türschutzsystems 200 des Kraftfahrzeugs aus Fig. 1. Es wird auf Fig. 1 bis Fig. 3 Bezug genommen. Das Türschutzsystem 200 umfasst die Ultraschallsensoren 2, die Kameravorrichtung 6 und ein oder mehrere nicht dargestellte Steuergeräte, die in dem Kraftfahrzeug 1 installiert sind. Das eine oder die mehreren Steuergeräte bilden eine Kamera-Steuereinheit 15, eine Ultraschall-Steuereinheit 16 und eine Türschutz-Steuereinheit 17 aus, die über eine Übertragungsstrecke 18 miteinander kommunikationsverbunden sind. Rein beispielhaft kann es sich bei jeder der Steuereinheiten 15, 16, 17 um ein jeweiliges Steuergerät des Kraftfahrzeugs 1 handeln, die über einen Datenbus 18 als die Übertragungsstrecke kommunikationsverbunden sind. Die Kamera-Steuereinheit 15 ist ferner mit der Kameravorrichtung 6 kommunikationsverbunden, und die Ultraschall-Steuereinheit 16 ist ferner mit den Ultraschallsensoren 2 kommunikationsverbunden. Fig. 4 veranschaulicht ein Verfahren zum Erkennen eines Hindernisses 9 in dem Schwenkbereich 10 der seitlichen Tür 4 gemäß einem Ausführungsbeispiel. Es wird auf die Fig. 1 bis Fig. 4 Bezug genommen.

Das veranschaulichte Verfahren wird insbesondere ausgeführt, wenn das Kraftfahrzeug 1 steht, besonders vorzugsweise unmittelbar, nachdem das Kraftfahrzeug 1 zum vollständigen Stillstand gekommen ist.

In Schritt S1 nimmt die Kamera-Steuereinheit 15 mittels der Kameravorrichtung 6 ein Bild einer Umgebung des Kraftfahrzeugs 1 auf. Das Bild umfasst insbesondere mindestens einen Abschnitt des Schwenkbereichs 10 und vorzugsweise den gesamten Schwenkbereich 10.

In Schritt S2 führt die Kamera-Steuereinheit 15 eine Bildverarbeitung und/oder eine Bildanalyse des aufgenommenen Bildes durch. Insbesondere erkennt die Kamera-Steuereinheit 15 Objekte, wie horizontale oder vertikale Linien, Kanten, Bordsteine, Mauern, Pfosten und dergleichen in dem aufgenommenen Bild. Ein Ergebnis 19 der Objekterkennung wird über den Datenbus 18 an die Türschutz-Steuereinheit 17 übertragen.

Schritt S3 kann gleichzeitig, vor, oder nach den Schritten S1 und S3 durchgeführt werden. In Schritt S3 führt die Ultraschall-Steuereinheit 16 mittels der Ultraschallsensoren 2 eine Abstandsmessung durch. Ein Ergebnis 20 der Abstandsmessung wird über den Datenbus 18 an die Türschutz-Steuereinheit 17 übertragen.

Aufgrund der speziellen Anordnung der Ultraschallsensoren 2 deckt das Sichtfeld der Ultraschallsensoren in der horizontalen Ebene einen Abschnitt des Schwenkbereichs 10 sowie das weiter entfernt dahinter liegende seitliche Umfeld des Kraftfahrzeugs 1 ab. Je näher ein Objekt jedoch an der seitlichen Tür 4 des Kraftfahrzeugs 1 angeordnet ist, umso geringer ist der vertikale Bereich, der von dem Sichtfeld der Ultraschallsensoren 2 abgedeckt wird. Das Sichtfeld der Ultraschallsensoren 2 reicht insbesondere in dem Nahbereich 11 nicht bis zu einer Unterkante der Fensterscheibe 12 und auch nicht bis zu einer Unterkante des in Fig. 1 gezeigten Hindernisses 9.

In Schritt S4 gleicht die Türschutz-Steuereinheit 17 die Ergebnisse 19, 20 der Objekterkennung und der Abstandsmessung miteinander ab und bestimmt, ob in dem Schwenkbereich 10 ein tatsächliches Hindernis 9 für das Öffnen der seitlichen Tür 4 des Kraftfahrzeugs 1 in dem Schwenkbereich 10 vorhanden ist.

Falls in Schritt S4 bestimmt wurde, dass das tatsächliche Hindernis 9 vorhanden ist, erzeugt die Türschutz-Steuereinheit 17 ein Signal, welches das Vorhandensein des tatsächlichen Hindernisses 9 angibt. Beispielsweise wird ein Warnsignal an einen Fahrer des Kraftfahrzeugs 1 ausgegeben, oder das Öffnen der seitlichen Tür 4 wird blockiert bzw. nicht freigegeben.

Zu Vorteilen des beschriebenen Ausführungsbeispiels zählt, dass durch Zusammenführen der Ergebnisse 19, 20 der Objekterkennung und der Abstandsmessung zum Beispiel auch das für die Ultraschallsensoren 2 im Stillstand nicht sichtbare Hindernis 9 als tatsächliches Hindernis 9 erkannt und/oder eine erkannte Bordsteinkante, deren Höhe die Ultraschall- Steuereinheit 16 ggf. aufgrund der speziellen Anordnung der Ultraschallsensoren 2 jedoch nicht abschätzen konnte, anhand des Ergebnisses 19 der Objekterkennung korrekt als niedrig (kein bzw. überschwenkbares Hindernis) oder als zu hoch (tatsächliches bzw. nicht überschwenkbares Hindernis) bestimmt werden kann.

Bei der Ultraschall-Steuereinheit 16, die im Stillstand betrieben wird, entfällt eine Notwendigkeit eines Inbeziehungsetzens von mehreren Messungen zu verschiedenen Zeitpunkten bei verschiedenen Fahrzeugpositionen, wie sie bei Ultraschall-Steuereinheiten von Parkassistenzsystemen und dergleichen erforderlich ist. Die Ultraschall-Steuereinheit 16 kann daher vorteilhafterweise mit einem kleinen und leistungsschwachen Microcontroller implementiert werden. Die Ergebnisse 19 und 20 erzeugen vorteilhafterweise auch nur eine geringe Buslast auf dem Datenbus 18. Ebenso kann die Türschutz-Steuereinheit 17 mit einem kleinen und leistungsschwachen Microcontroller implementiert werden, da sie nur die Ergebnisse 19 und 20 zusammenführt und keine komplizierten analytischen Berechnungen durchzuführen braucht. Die Türschutz-Steuereinheit 17 kann auch als ein Abschnitt bzw. eine zusätzliche Funktionalität der Ultraschall-Steuereinheit 16 oder der Kamera-Steuereinheit 15 implementiert werden. Rechenaufwendig ist vor allem die von der Kamera-Steuereinheit 15 durchgeführte Objekterkennung; die hierfür erforderliche Rechenleistung und Funktionalität ist in einem mit Kameras und Funktionalität zum voll- oder teilautonomen Fahren ausgestatteten Kraftfahrzeug aber in der Regel sowieso vorhanden. Für das Bereitstellen des vorgeschlagenen Türschutzsystems 200 entstehen somit nur geringe zusätzliche Teilekosten.

Weiter unter Bezugnahme auf Fig. 1 bis 4 werden vorteilhafte Weiterbildungen und Abwandlungen des Ausführungsbeispiels diskutiert.

Gemäß einer vorteilhaften Weiterbildung ermittelt die Ultraschall-Steuereinheit 16 in Schritt S3 durch Abstandsmessungen mit jeweils mindestens zwei der Ultraschallsensoren 2 mittels Trilateration oder dergleichen Koordinaten eines Reflexionspunkts an einem gemessenen Objekt in dem seitlichen Umfeld. Anhand der Lagen eines oder mehrerer der bestimmten Reflexionspunkte konstruiert die Ultraschall-Steuereinheit 15 ein jeweiliges Objektmerkmal. Ein jeweiliges Objektmerkmal enthält dabei wenigstens eine aus Koordinaten des einen oder mehreren Reflexionspunkten abgeleitete zweidimensionale Koordinate. Ferner kann die Ultraschall-Steuereinheit 16 das erstellte Objektmerkmal klassifizieren. Liegen mehrere Reflexionspunkte dicht beieinander, kann ein Objektmerkmal als "punktförmig" klassifiziert werden, liegen mehrere Reflexionspunkte zueinander beabstandet entlang einer Linie, kann ein Objektmerkmal als "linienförmig" klassifiziert werden. Als "linienförmig" klassifizierte Objektmerkmale können zwei Koordinaten umfassen, nämlich die Koordinaten der beiden außenliegenden Reflexionspunkte, aus denen die Linie konstruiert wurde, als Anfangs- und Endpunkt. Somit kann das Ergebnis 20 der Abstandsmessung nicht nur gemessene Abstände, sondern vorteilhafterweise die konstruierten und klassifizierten Objektmerkmale umfassen. Gemäß einer vorteilhaften Weiterbildung führt die Kamera-Steuereinheit 15 in Schritt S2 nach der Objekterkennung eine Objektklassifizierung und/oder eine Positionsbestimmung durch. Bei der Objektklassifizierung wird das erkannte Objekt nach Art und Höhe klassifiziert. Bei der Positionsbestimmung wird eine relative Position und eine relative Orientierung (in Pixelkoordinaten) des Objekts in dem Bild bestimmt. Die Objektklassifikation (Art und Höhe) und/oder die ermittelte Position und/oder Orientierung bilden ebenfalls einen Teil des Ergebnisses 19 der Objekterkennung. Für die Klassifizierung kann insbesondere ein trainiertes neuronales Netzwerk verwendet werden. Der Gedanke ist hierbei, dass Bordsteinkanten bekanntermaßen niedrige, von seitlichen Türen überschwenkbare Hindernisse darstellen, wohingegen Mauern oder Bordsteinkanten mit einem aufgrund untypischer Höhe untypischen Erscheinungsbild nicht von seitlichen Türen überschwenkbar sind. Das neuronale Netzwerk kann somit dazu trainiert sein, basierend auf Eingabedaten, die einen Bildabschnitt des aufgenommenen Bildes umfassen, in dem das Objekt erkannt wurde, Ausgabedaten zu erzeugen, die eine Angabe umfassen, ob das Objekt hoch (nicht überschwenkbar) oder niedrig (überschwenkbar) ist.

Gemäß einer vorteilhaften Weiterbildung kann somit die Türschutz-Steuereinheit 17 in Schritt S4 dem Ergebnis 19 der Objekterkennung entnehmen, ob in dem Schwenkbereich bei der Objekterkennung ein linienförmiges Objekt erkannt wurde, das als hoch oder niedrig klassifiziert ist. Ferner kann die Türschutz-Steuereinheit 17 dem Ergebnis 20 der Abstandsmessung entnehmen, ob in dem Schwenkbereich 10 Reflexionspunkte an einem punktförmigen oder einem linienförmigen Objekt gemessen wurden. Optional kann ein Abgleich erfolgen, ob die von den in dem Ergebnis 20 der Abstandsmessung enthaltenen Objektmerkmalen angegebenen Positionen zu den relativen Positionen und/oder Orientierungen der von der Objekterkennung erkannten Objekte passen. Sodann kann die Türschutz-Steuereinheit 17 anhand der nachstehenden Tabelle bestimmen, ob ein tatsächliches Hindernis 9 in dem Schwenkbereich 10 vorliegt:

Die Tabelle lässt erkennen, dass in den geschilderten Szenarien gemäß der vorliegenden Weiterbildung des Ausführungsbeispiels das Ergebnis der Objekterkennung 20 nicht notwendigerweise eine genaue Klassifizierung aller erkannten Objekte zu umfassen braucht und das Ergebnis 20 der Abstandsmessung 20 nicht notwendigerweise alle bestimmten Objektmerkmale zu umfassen brauchen. Grundsätzlich kann das Ergebnis 19 jeweils ganz besonders vorzugsweise auf ein einziges Bit reduziert werden, das angibt, ob in dem Schwenkbereich mindestens ein linienförmiges Objekt ermittelt wurde, das als hoch klassifiziert wurde, oder nicht. Das Ergebnis 20 kann vorzugsweise auf zwei Bits reduziert werden, die angeben, ob ein Objekt gemessen wurde oder nicht und ob das Objekt als punkt- oder als linienförmig klassifiziert wurde. Somit kann eine Last auf dem Datenbus 18 maximal reduziert werden.

Gemäß noch einer Weiterbildung des Ausführungsbeispiels erfolgt die Bestimmung des tatsächlichen Hindernisses 9 wie folgt: Nachdem die Ultraschall-Steuereinheit 16 in Schritt S3 die Abstandsmessung durchgeführt hat, übermittelt sie das Ergebnis 20 der Abstandsmessung mindestens auch an die Kamera-Steuereinheit 15. Die Kamera-Steuereinheit15 führt ihrerseits in Schritt S2 nach der Objekterkennung keine Klassifizierung als hoch oder niedrig durch. Stattdessen verwendet sie das von der Ultraschall-Steuereinheit 16 empfangene Ergebnis 20 der Abstandsmessung, um eine Pixeldichte des aufgenommenen Bilds am Ort des erkannten Objekts zu bestimmen, misst eine Höhe in Pixel des erkannten Objekts in dem aufgenommenen Bild, und bestimmt anhand der bestimmten Pixeldichte und der in Pixeln ausgedrückten Höhe des erkannten Objekts die absolute Höhe des erkannten Objekts. Das von der Kamera-Steuereinheit 15 an die Türschutz-Steuereinheit 17 übermittelte Ergebnis 19 der Objekterkennung umfasst gemäß der vorliegenden Weiterbildung die bestimmte Höhe des jeweiligen Objekts.

Der Türschutz-Steuereinheit 17 liegen somit als Ergebnis 20 der Abstandsmessung Objektmerkmale mit genauen (zweidimensionalen) Positionen von Reflexpunkten oder Reflexpunktlinien an gemessenen Objekten in dem Schwenkbereich 10 vor und als Ergebnis 19 der Objekterkennung genaue Höhenangaben der in dem Bild erkannten Objekte. Anhand eines Vergleichs der solchermaßen bestimmten Positionen und Höhen mit einer vorbekannten Geometrie des Schwenkbereichs 10 kann die Türschutz-Steuereinheit 17 somit besonders exakt bestimmen, ob die seitliche Tür 4 geöffnet werden kann, ohne mit einem Hindernis 9 in dem Schwenkbereich 10 zu kollidieren oder nicht.

Die Erfindung wurde anhand eines bevorzugten Ausführungsbeispiels beschreiben, ist jedoch vielfältig modifizierbar.

Die ersten Ultraschallsensoren 2 brauchen nicht an dem Seitenschweller 3 angeordnet zu sein, sondern können an einer Kunststoff-Rammschutzleiste angeordnet sein, die auf einen unteren Rand der Tür 4 aufgesetzt ist.

Die Anzahl der mehreren ersten Ultraschallsensoren 2 ist nicht speziell beschränkt, solange jeweils mindestens zwei oder mehr Ultraschallsensoren 2 vorgesehen sind. In Ausführungsformen, in denen das Ergebnis 20 der Abstandsmessung nicht die Objektmerkmale, sondern lediglich eine Abstandsangabe umfasst, ist auch ein einzelner Ultraschallsensor 2 ausreichend.

Die Kamera-Steuereinheit 15, die Ultraschall-Steuereinheit 16 und die Türschutz-Steuereinheit 17 brauchen nicht durch separate Steuergeräte, sondern können auch als separate funktionale Einheiten eines gemeinsamen Steuergeräts implementiert sein, die über einen internen Übertragungsweg des Steuergeräts miteinander kommunikationsverbunden sind. Es ist auch denkbar, die Türschutz-Steuereinheit 17 und nur entweder die Kamera-Steuereinheit 15 oder die Ultraschall-Steuereinheit 16 in einem gemeinsamen Steuergerät zu implementieren. Es wurde beispielhaft eine Fischaugenkamera 6 an einer Unterseite des Seitenspiegels 5 beschreiben. Als Kameravorrichtung 6 des Türschutzsystems 200 kann jedoch auch eine andere Kameravorrichtung, beispielsweise eine an einer B-Säule 8 des Kraftfahrzeugs angebrachte Kameravorrichtung oder eine an einer A-Säule 7 des Kraftfahrzeugs angebrachte Kameravorrichtung verwendet werden, solange das Sichtfeld der Kameravorrichtung 6 und das Sichtfeld des einen oder der mehreren Ultraschallsensoren 2 einander mindestens teilweise überlappen.

BEZUGSZEICHENLISTE

1 Kraftfahrzeug

2 Ultraschallsensoren

3 Seitenschweller

4 seitliche Tür

5 Seitenspiegel

6 Kameravorrichtung

7 A-Säule

8 B-Säule

9 Hindernis

10 Schwenkbereich der seitlichen Tür

11 Nahbereich

12 Fensterscheibe

13 Türgriff

14 weiterer Ultraschallsensor

15 Kamera-Steuereinheit

16 Ultraschall-Steuereinheit

17 Türschutz-Steuereinheit

18 Übertragungsstrecke, Datenbus

19 Ergebnis der Objekterkennung

20 Ergebnis der Abstandsmessung

21 Hauptabschnitt der seitlichen Tür

100 Türschutz-Steuersystem

200 Türschutzsystem

S1-S5 Verfahrensschritte