Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR DETERMINING A ROADWAY STATE BY MEANS OF A VEHICLE CAMERA SYSTEM
Document Type and Number:
WIPO Patent Application WO/2015/070861
Kind Code:
A1
Abstract:
The invention relates to a method and to a device for determining a roadway coating by means of a vehicle camera system, and comprises the following steps: by means of the vehicle camera system, at least one image of the surroundings of the vehicle is recorded. The at least one image is evaluated in order to detect indications of precipitation and/or the presence of a roadway coating as the roadway is travelled over by the vehicle (E) with the vehicle camera system or by another vehicle (F). The detected indications are taken into consideration in the determination of a roadway coating. The result of the determination of the roadway coating, or a friction coefficient estimation derived therefrom, may preferably be output to a driver assistance function, to a vehicle control function or also as information to the driver.

Inventors:
HARTMANN BERND (DE)
Application Number:
PCT/DE2014/200601
Publication Date:
May 21, 2015
Filing Date:
October 28, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTINENTAL TEVES AG & CO OHG (DE)
International Classes:
G06K9/00
Foreign References:
DE102011081362A12013-02-28
Other References:
RAQIB OMER: "An Automatic Image Recognition System for Winter Road Surface Condition Monitoring", A THESIS PRESENTED TO THE UNIVERSITY OF WATERLOO IN FULFILLMENT OF THE THESIS REQUIREMENT FOR THE DEGREE OF MASTER OF ENGINEERING IN CIVIL ENGINEERING; WATERLOO, ONTARIO, CANADA,, 22 February 2011 (2011-02-22), Canada, pages I-XII,1-68, XP055177353, Retrieved from the Internet [retrieved on 20150317]
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Bestimmung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems, wobei

- mindestens ein Bild einer Fahrzeugumgebung mittels des Fahrzeugkamerasystems aufgenommen wird,

- das mindestens eine Bild ausgewertet wird, um Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zu ermitteln,

- die ermittelten Indizien bei der Bestimmung einer Fahrbahnauflage berücksichtigt werden und

- das Ergebnis der Bestimmung der Fahrbahnauflage ausgegeben werden kann.

2. Verfahren nach Anspruch 1, wobei als Indizien Auswirkungen von Niederschlägen im Bild, auf der Fahrbahn und auf den Fahrzeugen oder Fahrzeugscheiben bei der Bildauswertung ermittelt werden.

3. Verfahren nach Anspruch 1 oder 2, wobei als Indizien Auswirkungen einer Fahrbahnauflage beim Überfahren durch mindestens einen Reifen eines Fahrzeugs (E, F) bei der Bildauswertung ermittelt werden .

4. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens ein Bereich in dem mindestens einen Bild bestimmt wird, dem Indizien für das Vorhandensein einer Fahrbahnauflage zu entnehmen sind.

5. Verfahren nach Anspruch 4, wobei der Bereich in dem mindestens einen Bild einem Klassifikator zugeführt wird, der die ermittel¬ ten Indizien auf eine Menge von Klassen abbildet, die jeweils einer Fahrbahnauflage zugeordnet sind.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem einen rückwärtigen (3, le, lf)

und/oderseitlichen (lc, ld) Erfassungsbereich der Umgebung des eigenen Fahrzeugs (E) aufweist, so dass Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das eigene Fahrzeug (E) bei der Bildauswertung ermittelt werden.

7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem einen vor dem eigenen Fahrzeug (E) liegenden Erfassungsbereich (2, la, lb) aufweist, so dass Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug (F) bei der Bildauswertung ermittelt werden.

8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) aufgewirbelte Bestandteile der Fahrzeugauflage umfassen.

9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Indizien für das Vorhandensein einer Fahrbahnauflage Sichtbehinde¬ rungen im Blickfeld des Fahrzeugkamerasystems aufgrund des Über¬ fahrens der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug (F) umfassen.

10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) Reifenfahrspuren in der Fahrbahnauflage umfassen.

11. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Bestimmung des Vorhandenseins einer Fahrbahnauflage ne¬ ben den Indizien für Niederschläge und/oder das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zusätzlich typische generische Eigenschaften unterschiedlicher Fahrbahnauflagen ermittelt und berücksichtigt werden .

12. Verfahren nach einem der Ansprüche 5 bis 11, wobei der Klassifikator ein neuronales Netz umfasst, das trainiert wurde, um die ermittelten Indizien einer Fahrbahnauflage zuordnen zu können .

13. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnis der Bestimmung der Fahrbahnauflage mit dem Ergebnis einer Fahrbahnzustandserkennung oder -klassifikation kombiniert werden und daraus eine Reibwertschätzung vorgenommen wird.

14. Vorrichtung zur Bestimmung einer Fahrbahnauflage umfassend ein Fahrzeugkamerasystem, ausgebildet zur Aufnahme mindestens eines Bildes einer Fahrzeugumgebung

eine Auswertungseinheit, ausgebildet zur Auswertung des mindes¬ tens einen Bildes, um Indizien für Niederschläge, das Vorhanden¬ sein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zu ermitteln, einer Bestimmungseinheit, aus¬ gebildet zur Bestimmung einer Fahrbahnauflage unter Berücksichtigung der ermittelten Indizien und eine Ausgabeeinheit, die das ermittelt Ergebnis ausgibt.

Description:
Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems.

Fahrerassistenzsysteme unterstützen den Fahrer in seiner Fahraufgabe und tragen so dazu bei, den Straßenverkehr in Zukunft sicherer zu machen und die Unfallzahlen zu senken. Kamerabasierte Fahrerassistenzsysteme erfassen hierbei die Umgebung eines Fahrzeugs. Kamerasysteme, die hinter der Windschutzscheibe platziert sind, erfassen das Vorfeld des Fahrzeugs entsprechend der visuellen Wahrnehmung des Fahrers. Die funktionalen Umfänge solcher Assistenzsysteme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision. Neben Kamerasystemen erlauben Radar-, Lidarsensoren bzw. Laserscanner die Erkennung anderer Fahrzeuge, ungeschützter Verkehrsteilnehmer wie z.B. Fußgänger und Fahrradfahrer und der Infrastruktur wie z.B. Leitplanken und Ampeln. Somit wird die Voraussetzung geschaffen, das direkte Fahrzeugumfeld immer genauer zu beschreiben.

In Zukunft wird der Automatisierungsgrad von Kraftfahrzeugen kontinu ¬ ierlich steigen. Das führt dazu, dass auch der Ausrüstungsgrad der Fahrzeuge mit Sensorik ganz erheblich steigen wird. Hoch- oder vollautomatisierte Fahrzeuge werden mit einer Vielzahl unterschiedlicher Sensoren ausgestattet sein und so einen 360° Rundumblick insbesondere über Kamerasysteme ermöglichen.

Wesentlicher Teil der Fahraufgabe eines Fahrers ist es, den Fahrbahn ¬ zustand und damit den zur Verfügung stehenden Reibbeiwert zwischen Reifen und Fahrbahn richtig einzuschätzen, um danach seinen Fahrstil entsprechend anzupassen. Zukünftig werden hoch- und vollautomatisierte Fahrzeuge die Fahraufgabe zumindest in Teilbereichen übernehmen. Dazu ist es unerlässlich, systemseitig den Straßenzustand richtig zu erfas ¬ sen und einzuschätzen. DE 10 2004 018 088 AI zeigt ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera. Die aus den Sensoren erhaltenen Temperatur-, Rauhigkeits- und Bilddaten (Fahrbahndaten) werden gefiltert und mit Referenzdaten verglichen und ein Sicherheitsgrad für den Vergleich wird generiert. Auf Basis des Ver ¬ gleichs der gefilterten Fahrbahndaten mit den Referenzdaten wird der Zustand der Fahrbahnoberfläche ermittelt. Die Fahrbahnoberfläche (z.B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z.B. trocken, vereist, verschneit, nass) kann auf diese Weise klassifiziert werden .

WO 2012/110030 A2 zeigt ein Verfahren und eine Vorrichtung zur Reib ¬ wertschätzung mittels einer 3D-Kamera, z.B. einer Stereokamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird im gesamten Fahrzeugvorfeld ein Höhenprofil der Straßenoberfläche erstellt. Aus dem Höhenprofil wird der zu erwartende lokale Reibbeiwert der Straßenober ¬ fläche im Fahrzeugvorfeld geschätzt. Aus speziellen ermittelten Höhen ¬ profilen kann im Einzelfall eine Klassifikation der Fahrbahnoberfläche z.B. als Schneedecke oder schlammiger Feldweg erfolgen.

WO 2013/117186 AI zeigt ein Verfahren und eine Vorrichtung zur Erkennung der Beschaffenheit einer Fahrbahnoberfläche mittels einer SD- Kamera. Mit der 3D-Kamera wird mindestens ein Bild von der vor dem Fahrzeug liegenden Umgebung aufgenommen. Aus den Bilddaten der SD- Kamera werden entlang einer Mehrzahl von Linien Höhenverläufe der Fahrbahnoberfläche quer zur Fahrtrichtung des Fahrzeugs ermittelt. Aus den ermittelten Höhenverläufen wird die Beschaffenheit der Fahrbahnoberfläche erkannt. Optional werden zusätzlich zu den ermittelten Höhenverläufen 2D-Bilddaten mindestens einer monokularen Kamera der 3D-Kamera ausgewertet werden, z.B. mittels einer Textur- bzw. Musteranalyse, und in die Erkennung der Beschaffenheit der Fahrbahnoberflä ¬ che einfließen.

Die bekannten Verfahren stellen jedoch hohe Anforderungen an die erforderliche Sensorik. So sind bei den genannten Verfahren bzw. Vor- richtungen entweder ein Temperatur- und Ultraschallsensor zusätzlich zu einer Kamera erforderlich, oder die Kamera muss als 3D-Sensor ausgebildet sein, damit die Klassifikationsergebnisse hinreichend robust sind .

Aufgabe der vorliegenden Erfindung ist daher, eine Fahrbahnzustandsbe- stimmung mittels einer Kamera anzugeben, die bei Verwendung unterschiedlicher Fahrzeugkamerasystemkonfigurationen, beispielsweise auch nur eines Monokamerasystems , eine optimierte Fahrbahnzustandserkennung bzw. daraus abgeleitete Reibbeiwertschätzung ermöglicht.

Ein Hauptgedanke der Erfindung besteht darin, mittels eines Kamerasys ¬ tems und einer Bildverarbeitung gezielt Indizien für das Vorliegen einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug zu ermitteln. Eine Fahrbahnauflage ist z.B. Schnee, Regenwasser, Eis, Laub, Staub, also Medien/Gegenstände die flächig (Decke, Teppich) auf dem Fahrbahnbelag (Asphalt, Teer, Beton,...) aufliegen. Das flächige Aufliegen kann als Decke oder Teppich des Mediums bzw. der Gegenstände bezeichnet werden, dabei muss aber nicht die gesamte Fahrbahnoberflä ¬ che bedeckt sein. Unterschiedliche Fahrbahnauflagen zeigen typischerweise unterschiedliche Verhaltensweisen, wenn sie von einem Fahrzeug überfahren werden. Einige davon können mit einer Kamera beobachtet bzw. detektiert und in einer anschließenden Bildauswertung erkannt bzw. identifiziert werden, woraus Rückschlüsse auf das Vorhandensein und die Art der Fahrbahnauflage gezogen werden können.

Ein erfindungsgemäßes Verfahren zur Bestimmung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems umfasst die folgenden Schritte: Mittels des Fahrzeugkamerasystems wird mindestens ein Bild einer Fahr ¬ zeugumgebung aufgenommen. Das mindestens eine Bild wird ausgewertet, um Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das Fahrzeug mit dem Fahrzeugkamerasystem oder durch ein anderes Fahrzeug zu ermitteln. Die ermittelten Indizien werden bei der Bestimmung einer Fahrbahnauflage berücksichtigt. Das Er ¬ gebnis der Bestimmung der Fahrbahnauflage kann vorzugsweise mit einer direkten Fahrbahnzustandserfassung durch eine Klassifikation oder ei- ne Anwendung eines neuronalen Netzes kombiniert und an eine Fahreras ¬ sistenzfunktion, eine Fahrzeugsteuerungsfunktion oder auch als Information an den Fahrer ausgegeben werden. Fahrerassistenzfunktionen können insbesondere Kollisionswarnungen, Notbremsungen oder auch Notlenkungen umfassen, Fahrzeugsteuerungsfunktionen können insbesondere Insassenschutzmaßnahmen (Airbag-VorSteuerung, Bremsen-VorSteuerung, Gurtstraffer-Vorsteuerung) sowie (teil-) autonome Brems und/oder Lenkeingriffe umfassen. In einer bevorzugten Verwendung des erfindungsgemäßen Verfahrens werden die ermittelten Indizien bzw. das Ergebnis der Bestimmung der Fahrbahnauflage bei der Auslegung von Fahrerassistenzfunktionen, Fahrzeugsteuerungsfunktonen berücksichtigt.

Das Ergebnis der Bestimmung der Fahrbahnauflage kann insbesondere in eine Schätzung des Reibbeiwerts für den Fahrbahnbereich, der im Bild abgebildet ist, oder einen anderweitig ermittelten aktuellen oder vorausschauend ermittelten Reibbeiwert einfließen. Denn die Fahrbahnauf ¬ lage hat einen wesentlichen Einfluss auf den tatsächlichen Reibbeiwert. Der Reibbeiwert, auch Reibwert, Kraftschlussbeiwert, (Haft-) Reibungszahl oder Reibungskoeffizient gibt an, welche Kraft bezogen auf die Radlast zwischen einer Fahrbahnoberfläche und einem Fahrzeug ¬ reifen (z.B. in Tangentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für die Fahrsicherheit. Neben dem Fahr ¬ bahnzustand sind Eigenschaften des Reifens zu einer vollständigen Bestimmung des Reibwerts erforderlich.

Gemäß einer vorteilhaften Ausführungsform werden als Indizien Auswirkungen von Niederschlägen (beispielsweise Regen, Schnee, Hagel oder auch Nebel) im Bild, auf der Fahrbahn und auf den Fahrzeugen oder Fahrzeugscheiben bei der Bildauswertung ermittelt.

Art und Menge eines Niederschlags können bei der Bildauswertung be ¬ stimmt werden. Die Detektionsrichtung des Kamerasystems kann hierbei vorteilhaft verknüpft werden mit der aktuellen Fahrzeugbewegungsrichtung. So kann beim Ermitteln von starkem Regenfall durch eine Frontkamera bei der Bildauswertung darauf geschlossen werden, dass die vorausliegende Fahrbahn nass sein wird. In einer bevorzugten Aus führungs form werden als Indizien Auswirkungen einer Fahrbahnauflage beim Überfahren durch mindestens einen Reifen eines Fahrzeugs bei der Bildauswertung ermittelt. Auswirkungen sind hierbei insbesondere Veränderungen der Fahrbahnoberfläche inklusive Fahrbahnauflage beim Überfahren durch ein Fahrzeug bzw. genauer beim Überfahren durch mindestens einen Reifen des Fahrzeugs.

Vorteilhaft wird mindestens ein Bereich in dem mindestens einen Bild bestimmt, dem Indizien für das Vorhandensein einer Fahrbahnauflage zu entnehmen sind. Das sind insbesondere Bildbereiche, die einen überfah ¬ renden Fahrzeugreifen umfassen oder neben (seitlich oder dahinter) einem solchen liegen.

Bevorzugt wird der Bereich in dem mindestens einen Bild einem

Klassifikator zugeführt, der die ermittelten Indizien auf eine Menge von Klassen abbildet, die jeweils einer Fahrbahnauflage zugeordnet sind .

Gemäß einer vorteilhaften Ausführungsform weist das Fahrzeugkamerasystem einen rückwärtigen und/oder seitlichen Erfassungsbereich der Umgebung des eigenen Fahrzeugs auf. Das eigene Fahrzeug ist hierbei das, welches das Fahrzeugkamerasystem aufweist. Auf diese Weise können In ¬ dizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das eigene Fahrzeug bei der Bildauswertung ermittelt werden. Vorteilhaft kann die Bildauswertung dabei auf einen festen Bildbereich beschränkt werden, in dem sich Auswirkungen einer vorhandenen Fahrbahnauflage typischerweise zeigen, also z.B. ein Bereich hinter einem Reifen oder am Heck des eigenen Fahrzeugs, den eine Rück- kamera abbildet oder einen Bereich neben einem Reifen des eigenen Fahrzeugs, den eine Seitenkamera abbildet.

Der Vorteil bei dieser Ausführungsform ist, dass man zur Bestimmung einer Fahrbahnauflage nicht auf im Erfassungsbereich des Fahrzeugkame ¬ rasystems befindliche Fremdfahrzeuge angewiesen ist.

In einer bevorzugten Ausführungsform weist das Fahrzeugkamerasystem einen vor dem eigenen Fahrzeug liegenden Erfassungsbereich auf, so dass Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug bei der Bildauswertung ermittelt werden.

Dazu kann insbesondere die Bildauswertung dabei auf einen Bildbereich beschränkt werden, in dem das Heck und/oder die Seite eines vorausfahrenden Fahrzeugs oder die Fahrzeugfront und/oder die Seite eines ent ¬ gegenkommenden Fahrzeugs abgebildet ist. Bevorzugt kann der relevante Bildbereich auf Basis der Reifenkontaktzonen mit der Fahrbahn im Bild bestimmt werden.

Ein Vorteil dieser Ausführungsform ist darin zu sehen, dass eine vorausschauende Bestimmung einer Fahrbahnauflage möglich ist.

Vorteilhaft umfassen die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn aufgewirbelte Bestandteile der Fahrzeugauflage. Dazu zählen insbesondere die Erkennung von Spritzwasser oder Spritzschneematsch, Sprühnebel oder Gischt,

Schneeverwirbelungen, Blätter sowie Sand oder Staub.

Gemäß einer bevorzugten Ausführungsform umfassen die Indizien für das Vorhandensein einer Fahrbahnauflage Sichtbehinderungen im Blickfeld des Fahrzeugkamerasystems aufgrund des Überfahrens der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug.

Bevorzugt umfassen die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug Reifenfahrspuren in der Fahrbahnauflage. Reifenfahrspuren bilden sich bei speziellen Fahrbahnauflagen direkt hinter den Reifen eines fahrenden Fahrzeugs, teilweise kann z.B. bei einer Schneeauflage sogar der Abdruck des Reifenprofils innerhalb einer Reifenfahrspur erkannt werden.

In vorteilhafter Weise können bei der Bestimmung des Vorhandenseins einer Fahrbahnauflage neben den Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug zusätzlich typische generische Eigenschaften unterschiedlicher Fahrbahnauflagen ermittelt und berücksichtigt werden. Damit sind Eigenschaften gemeint, die für Fahrbahnauflagen charakteristisch sind und die aus einem Kamerabild auch ohne ein überfahrendes Fahrzeug erkannt werden können, z.B. Pfützen und Spiegelungen bei Regenwasser oder die Topolo- gie der Oberfläche. Insbesondere Frontscheinwerfer entgegenkommender Fahrzeuge werden bei regennasser oder vereister Fahrbahn stärker reflektiert als bei einer trockenen Fahrbahn.

Bevorzugt umfasst der Klassifikator ein neuronales Netz, das trainiert wurde, um die ermittelten Indizien einer Fahrbahnauflage zuordnen zu können. Das neuronale Netz kann insbesondere auch kontinuierlich lernen, Indizien einer Klasse von Fahrbahnauflagen zuzuordnen.

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird das Ergebnis der Bestimmung der Fahrbahnauflage mit dem Ergebnis einer Fahr- bahnzustandserkennung oder -klassifikation kombiniert und daraus eine Reibwertschätzung vorgenommen. Die Fahrbahnzustandserkennung oder -klassifikation bestimmt insbesondere die materielle und geometrische Fahrbahnoberfläche z.B. rauer oder glatter Teer, Asphalt oder Beton ggfs. mit vorhandenen Spurrillen und kann insbesondere auf Bilddaten desselben Fahrzeugkamerasystems beruhen.

Ferner betrifft die Erfindung eine Vorrichtung zur Bestimmung einer Fahrbahnauflage umfassend ein Fahrzeugkamerasystem, eine Auswertungs ¬ einheit, eine Bestimmungseinheit und eine Ausgabeeinheit. Das Fahr ¬ zeugkamerasystem ist zur Aufnahme mindestens eines Bildes einer Fahr ¬ zeugumgebung ausgebildet. Die Auswertungseinheit ist zur Auswertung des mindestens einen Bildes ausgebildet, um Indizien für das Vorhan ¬ densein einer Fahrbahnauflage durch Niederschläge und/oder beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zu ermitteln. Die Bestimmungseinheit ist ausgebildet zur Bestimmung einer Fahrbahnauflage unter Berücksichtigung der ermittelten Indizien. Die Ausgabeeinheit ist zur Ausgabe des von der Bestimmungseinheit ermittelten Ergebnisses eingerichtet. Auswertungs- , Bestimmungs- und Ausgabeeinheit können insbesondere Bestandteil des Steuergeräts des Fahrzeugkamerasystems oder anderer Fahrzeugsteuergeräte sein. Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbei ¬ spielen näher erläutert.

Fig. 1 zeigt schematisch ein binarisiertes Kamerabild von einem Fahrzeugreifen beim Überfahren einer regennassen Fahrbahn.

Fig. 2 zeigt unterschiedliche Erfassungsbereiche eines komplexen Kame ¬ rasystems eines Fahrzeugs .

In Fig. 1 ist eine schwarz-weiße Abbildung eines Kamerabilds von einem Fahrzeugreifen beim Überfahren einer regennassen Fahrbahn dargestellt. Der Fahrzeugreifen befindet sich auf einer Felge (weiß, kreisförmig) und das Fahrzeug bewegt sich nach rechts. Zu erkennen sind Wassertrop ¬ fen und Wasserfäden (weiße Punkte und Fäden) , die beim Überfahren der mit Wasser bedeckten Fahrbahnoberfläche durch den Reifen verdrängt und beschleunigt werden. Beim Überfahren von nassen Straßen bildet sich nämlich Spritzwasser, ausgehend von den Fahrzeugreifen. Durch die hohe Flächenpressung verdrängt der Reifen das auf der Fahrbahn stehende Wasser zu allen Seiten. Besonders ausgeprägt ist die Erscheinung bei LKW, deren Reifen entsprechend höhere Flächenpressung haben mehr Wasser als PKW verdrängen müssen. Das Spritzwasser befindet sich hauptsächlich in Fahrtrichtung gesehen hinter und seitlich neben dem Fahrzeugreifen. Dort kann es von einer Fahrzeugkamera detektiert werden und von einer Bildverarbeitung als Spritzwasser erkannt werden, woraus auf eine Regenwasserschicht als Fahrbahnauflage geschlossen werden kann .

Beim Vorliegen von Schneematsch auf der Fahrbahn entsteht in vergleichbarer Weise Spritzschneematsch, der als solcher detektiert und erkannt werden kann.

Je nach Fahrbahnauflage, z.B. bei feuchter statt nasser Fahrbahn, und der Struktur des Fahrbahnbelags tritt beim Überfahren kein Spritzwas ¬ ser sondern nur Sprühnebel oder Gischt oder beides auf. Auch das kann von einer Fahrzeugkamera detektiert werden und von einer Bildverarbei ¬ tung als Sprühnebel oder Gischt erkannt werden.

Beim Überfahren von mit Neuschnee oder Pulverschnee bedeckten Straßen treten typische Schneeverwirbelungen auf, die sich an den Fahrzeugseiten und als Schneefahne am Fahrzeugheck ausbreiten. Auch andere Fahrbahnauflagen wie z.B. eine Blätterschicht oder eine Sandfläche auf einer befestigten Fahrbahn werden beim Überfahren aufgewirbelt und können mit einer Fahrzeugkamera detektiert und erkannt werden .

Zusätzlich können bei einigen Fahrbahnauflagen weitere Indizien im Ka merabild ermittelt und identifiziert werden, so bilden sich beim Über fahren von nassen oder schneebedeckten Fahrbahnen oder auch beim Über fahren von Schneematsch Reifenfahrspuren hinter einem fahrenden Fahrzeug, teilweise kann z.B. bei einer dünnen Schneeschicht sogar der Ab druck des Reifenprofils innerhalb einer Reifenfahrspur erkannt werden Darüber hinaus können auch Niederschläge in Form von Regen, Schnee oder Hagel und auch Nebel als Indizien für den Fahrbahnzustand im Ka ¬ merabild detektiert werden.

Vorteilhaft werden also unterschiedliche aus Kamerabildern ermittelte Indizien für das Vorliegen einer Fahrbahnauflage bei der Klassifizie ¬ rung der Art der Fahrbahnauflage berücksichtigt.

Die unterschiedlichen Klassen können grob unterteilt sein (keine Fahr bahnauflage/Wasser/Schnee) , aber auch feiner unterteilt sein (z.B. be Schnee: Pulverschnee bis 5mm Höhe, Pulverschnee > 5mm Höhe, Fester Schnee, Schneematsch) . Diese Unterteilung kann insbesondere in Abhängigkeit von einer Zuordnung der Klasse zu einem mittleren Reibbeiwert vorgenommen werden, bzw. der Änderung des zugeordneten mittleren Reib beiwerts beim Übergang von einer Unterklasse zu einer anderen.

Fig. 2 zeigt die Erfassungsbereiche (la-lf, 2, 3) eines in bzw. an ei nem ersten Fahrzeug (E) angeordneten Kamerasystems. In Fahrtrichtung vor dem ersten Fahrzeug (E) befindet sich seitlich versetzt ein zweites Fahrzeug (F) . Das Kamerasystem des ersten Fahrzeugs (E) umfasst drei unterschiedliche Kamerauntersysteme (1, 2 und 3) : ein Rundum ¬ sichtsystem (1) umfassend sechs einzelne Kamerasensoren mit weitwinkligen Erfassungsbereichen (la-lf), die zusammen eine 360 ° -Erfassung des Fahrzeugs ermöglichen, eine Frontkamera mit einem nach vorne ge ¬ richteten Erfassungsbereich (2) und eine Heckkamera mit einem nach hinten gerichteten Erfassungsbereich (3) .

Mit Kamerasensoren, die einen in Fahrtrichtung nach vorne gerichteten Erfassungsbereich (la, lb, 2) aufweisen, können Indizien für das Vor- handensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch vorausfahrende Fahrzeugen (F) oder durch entgegenkommende Fahrzeuge (nicht dargestellt) ermittelt werden.

Dies bietet den Vorteil einer vorausschauenden Fahrbahnauflagenermitt ¬ lung. Bevorzugt kann als Frontkamera eine Stereokamera eingesetzt wer ¬ den, wodurch eine räumliche Auflösung der erfassten Bilddaten erreicht wird. Objekte wie z.B. Spritzwassertropfen können hinsichtlich ihrer räumlichen Form und Ausdehnung analysiert werden, was die Klassifizie ¬ rung einer vorhandenen Fahrbahnauflage verbessert.

Die Bildverarbeitung zur Ermittlung einer Fahrbahnauflage kann sich vorteilhaft auf einen oder mehrere Bereiche des Kamerabilds beschrän ¬ ken, in dem sich eine Reifenkontaktzone der Fahrbahn befindet.

Bei einem vorausfahrenden Fahrzeug (F) kann ein Bildbereich ausgewertet werden, in dem sich das Fahrzeugheck des vorausfahrenden Fahrzeugs befindet .

Mit Kamerasensoren, die einen in Fahrtrichtung nach hinten oder zur Seite gerichteten Erfassungsbereich (3, le, lf; lc, ld) aufweisen, können Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch die Reifen des eigenen Fahrzeugs (E) ermittelt werden.

Der Vorteil hierbei ist, dass man nicht auf voraus- oder spurversetzt fahrende Fremdfahrzeuge (F) angewiesen ist, sondern anhand der Detek- tion und Ermittlung der durch das eigene Fahrzeug (E) hervorgerufenen Auswirkungen anhand einer rückwärtig und/oder seitlich ausgerichteten Sensorik unabhängig von anderen Fahrzeugen (F) eine aktuell relevante Fahrbahnauflage ermitteln kann. Da Fahrzeuge in Zukunft zunehmend mit einer 360° Kamerasensorik ausgestattet werden, die einen Surround View erfasst, welcher dem Fahrer z.B. als „Top View" in einer Vogelperspektive angezeigt werden kann, ist so die zuverlässige Ermittlung einer Fahrbahnauflage realistisch.