Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR TRAINING AT LEAST ONE ALGORITHM FOR A CONTROL DEVICE OF A MOTOR VEHICLE, METHOD FOR OPTIMISING TRAFFIC FLOW IN A REGION, COMPUTER PROGRAM PRODUCT, AND MOTOR VEHICLE
Document Type and Number:
WIPO Patent Application WO/2021/165113
Kind Code:
A1
Abstract:
The invention relates to a method for training at least one algorithm for a control device of a motor vehicle using a self-learning neural network, the method comprising the following steps: providing a simulation environment containing map data of an actually existing deployment area, the behaviour of the motor vehicle being determined by a rule set; providing real-time traffic data of the actually existing deployment area and replicating the traffic situation in the simulation environment; providing a mission for the motor vehicle, in which the motor vehicle travels in front of at least one other simulated motor vehicle; simulating the mission in the simulation environment; and determining the traffic flow metric of the mission, wherein, if the traffic flow metric is below a threshold value, the at least one algorithm and/or the at least one rule set is modified and the mission is repeated, or, if the traffic flow metric is above the threshold value, the mission is classified as successful.

Inventors:
EBERLE ULRICH (DE)
THIEM CHRISTOPH (DE)
Application Number:
PCT/EP2021/053181
Publication Date:
August 26, 2021
Filing Date:
February 10, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PSA AUTOMOBILES SA (FR)
International Classes:
G05B13/04
Foreign References:
CN109709956A2019-05-03
DE102017007136A12019-01-31
DE102018216719A12019-04-11
DE102017007468A12018-04-19
Other References:
BAKIBILLAH A S M ET AL: "Event-Driven Stochastic Eco-Driving Strategy at Signalized Intersections From Self-Driving Data", IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 68, no. 9, 1 September 2019 (2019-09-01), pages 8557 - 8569, XP011746069, ISSN: 0018-9545, [retrieved on 20190916], DOI: 10.1109/TVT.2019.2931519
CATHY WU ET AL: "Flow: Architecture and Benchmarking for Reinforcement Learning in Traffic Control", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 16 October 2017 (2017-10-16), XP080829046
Attorney, Agent or Firm:
SPITZFADEN, Ralf (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Trainieren wenigstens eines Algorithmus (34) für ein Steuergerät (4) eines Kraftfahrzeugs (2), wobei das Steuergerät (4) zur Umsetzung einer automati sierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus (34) vorgesehen ist, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls (30) für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul (30) den zu trainierenden Algorithmus (34) und das selbstlernende neuronale Netz (32) ent hält, b) Bereitstellen einer Simulationsumgebung (38) mit Simulationsparametern, wobei die Simulationsumgebung (38) Kartendaten (38) eines real existierenden Einsatzge biets (40), wobei ein Verhalten des Kraftfahrzeugs (2) durch einen Regelsatz be stimmt ist, c) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets (40) sowie Nachstellen der Verkehrssituation in der Simulationsumgebung (38); d) Bestimmen von Verkehrsbrennpunkten (40) anhand der Echtzeit-Verkehrsdaten anhand einer Verkehrsflussmetrik (vd), e) Bereitstellen einer Mission für das Kraftfahrzeug (2), in der das Kraftfahrzeug (2) vor wenigstens einem weiteren simulierten Kraftfahrzeug (2) fährt; f) Durchführen einer Simulation der Mission in der Simulationsumgebung (38); g) Bestimmen der Verkehrsflussmetrik (vd) der Mission, wobei

(i) wenn die Verkehrsflussmetrik (vd) unter einem Schwellwert liegt, Modifizieren des wenigstens einen Algorithmus (38) und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder

(ii) wenn die Verkehrsflussmetrik (vd) über dem Schwellwert liegt, Klassifizieren der Mission als erfolgreich.

2. Verfahren nach Anspruch 1 , wobei, wenn Schritt g) (i) erreicht ist, eine andere Mis sion ausgewählt und das Verfahren mit der anderen Mission wiederholt wird.

3. Verfahren nach Anspruch 1 oder 2, wobei eine Mission das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt über einen Ver kehrsbrennpunkt (40) hinweg darstellt.

4. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Echtzeit-Ver kehrsdaten Infrastrukturinformationen beinhalten.

5. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Mission durch Änderung von Parametern der Verkehrssituation in der Simulationsumgebung vari iert wird und das Verfahren mit der modifizierten Mission durchgeführt wird.

6. Verfahren nach einem der vorangegangenen Ansprüche, wobei beim Nachstellen der Verkehrssituation in der Simulationsumgebung ein Optimierungsalgorithmus verwendet wird, um Abweichungen zwischen der Simulationsumgebung und den Echtzeit-Verkehrsdaten zu minimieren.

7. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Verkehrsfluss metrik eine Durchschnittsgeschwindigkeit während der Mission enthält.

8. Verfahren nach einem der vorangegangenen Ansprüche, wobei der Algorithmus mit tels eines verstärkenden Lernen-Algorithmus trainiert wird.

9. Verfahren zur Optimierung eines Verkehrsflusses in einer Region, wobei wenigstens ein Führungsfahrzeug (2) verwendet wird, um Fahrverhalten von hinter dem Füh rungsfahrzeug (2) fahrenden Kraftfahrzeuge (42, 44, 46) durch das Führungsfahr zeug (2) zu regulieren, wobei das wenigstens eine Führungsfahrzeug (2) ein auto nom fahrendes Kraftfahrzeug (2) ist, wobei das wenigstens eine Führungsfahrzeug (2) mittels eines Algorithmus (34) gesteuert wird, der nach dem zuvor beschriebe nen Verfahren trainiert wurde.

10. Verfahren nach Anspruch 9, wobei das wenigstens eine Führungsfahrzeug (2) von einer Infrastruktursteuerung Infrastrukturinformationen erhält, wobei das Führungs fahrzeug (2) sein Fahrverhalten an die empfangenen Infrastrukturinformationen an passt.

11. Computerprogrammprodukt, mit einem computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (6) dazu ein gerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche 1 bis 10 auszuführen.

12. Kraftfahrzeug mit einem Computerprogrammprodukt nach Anspruch 11.

Description:
VERFAHREN ZUM TRAINIEREN WENIGSTENS EINES ALGORITHMUS FÜR EIN STEUERGERÄT EINES KRAFTFAHRZEUGS, VERFAHREN ZUR OPTIMIERUNG EINES VERKEHRSFLUSSES IN EINER REGION, COMPUTERPROGRAMMPRODUKT SOWIE KRAFTFAHRZEUG

Vorliegend werden ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, ein Verfahren zur Optimierung eines Verkehrsflusses in einer Region, ein Computerprogrammprodukt sowie ein Kraftfahrzeug beschrieben.

Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraft fahrzeugs, Verfahren zur Optimierung eines Verkehrsflusses in einer Region, Computer programmprodukte sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teilautomatisiert fahrenden Kraftfahrzeuge (entspricht SAE Level 2 gemäß SAE J3016) sind in den vergangenen Jahren zur Serienreife gelangt. Au tomatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw., autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorga ben, zum Beispiel Fahrziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Si cherheit auf unbekannte Verkehrssituationen selbständig reagieren können. Da die Ver kehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteil nehmer, insbesondere menschlicher Verkehrsteilnehmer, hoch komplex ist, gilt es als na hezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren.

Zur Bewältigung komplexer Probleme mittels Computern ist es darüber hinaus bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln bzw. sich durch selbstlernende neuronale Netze entwickeln zu lassen. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell mög lich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln und kontinuierlich zu verbessern. Alternativ kann ein Stand des Algorithmus nach der Beendigung einer Trainingsphase im Entwicklungsprozess und einer Validierung durch den Hersteller eingefroren werden.

Insbesondere urbane Regionen, aber auch Verkehrsknotenpunkte auf Autobahnen, leiden zumindest zu Stoßzeiten unter starkem Verkehrsaufkommen, insbesondere im Berufsver kehr. Diese Problematik wird zum Teil durch die zu diesen Zeiten allgemein hohe Ver kehrsdichte, zum anderen aber auch durch Verhalten von menschlichen Verkehrsteilneh mern ausgelöst. Menschliche Verkehrsteilnehmer neigen zu Handlungsweisen, die Staus eher verstärken als verhindern, zum Beispiel, wenn eine Geschwindigkeitsbegrenzung zur Reduktion der Verkehrsmasse zu schnell gefahren wird, da kein Hindernis sichtbar scheint.

Darüber hinaus ist es bekannt, den Verkehrsfluss anhand von Führungsfahrzeugen zu re geln, beispielsweise von Fahrern mit staatlichem Auftrag, beispielsweise der Polizei. Mit hilfe von Führungsfahrzeugen ist es möglich, den Verkehrsfluss in stark belasteten Regio nen effektiver zu regulieren als durch Geschwindigkeitsbegrenzungen allein und damit insgesamt die Durchschnittsgeschwindigkeit einer entsprechenden regulierten Kolonne zu erhöhen.

Aus der DE 102017 007468 A1 ist ein Verfahren zum Betrieb eines Fahrzeugs bekannt, wobei Messdaten einer Straßenverkehrssituation ermittelt werden und in einer Verkehrssi mulation anhand der Messdaten eine zukünftige Straßenverkehrssituation ermittelt wird. Die Messdaten werden mittels fahrzeugeigener Ermittlungseinheiten für das Fahrzeug und/oder zumindest ein in die Straßenverkehrssituation involviertes weiteres Fahrzeug er mittelt und an eine zentrale Recheneinheit übersendet. Mittels der zentralen Rechenein heit wird die Verkehrssimulation für einen vorgegebenen Zeithorizont durchgeführt und in Abhängigkeit von Ergebnissen der Verkehrssimulation werden mittels der zentralen Re cheneinheit Fahrzeugparameter derart ermittelt und an das Fahrzeug und/oder das zu mindest eine weitere Fahrzeug übersendet, dass bei einer Einstellung der Fahrzeugpara meter eine Fahrweise des Fahrzeugs und/oder des zumindest einen weiteren Fahrzeugs zur Förderung eines Verkehrsflusses angepasst wird.

Somit stellt sich die Aufgabe, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Verfahren zur Optimierung eines Verkehrsflusses in einer Region, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass der Verkehrsfluss in hoch belasteten Regionen bes ser geregelt werden kann. Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren wenigstens eines Algorith mus für ein Steuergerät eines Kraftfahrzeugs gemäß Anspruch 1, ein Verfahren zur Opti mierung eines Verkehrsflusses in einer Region gemäß dem nebengeordneten Anspruch 9, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 11 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 12. Weiterführende Ausgestaltun gen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.

Nachfolgend wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs beschrieben, wobei das Steuergerät zur Umsetzung ei ner automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate des Kraft fahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Simulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regel satz bestimmt ist, c) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets so wie Nachstellen der Verkehrssituation in der Simulationsumgebung; d) Bestimmen von Verkehrsbrennpunkten anhand der Echtzeit-Verkehrsdaten an hand einer Verkehrsflussmetrik; e) Bereitstellen einer Mission für das Kraftfahrzeug, in der das Kraftfahrzeug vor we nigstens einem weiteren simulierten Kraftfahrzeug fährt; f) Durchführen einer Simulation der Mission in der Simulationsumgebung; g) Bestimmen der Verkehrsflussmetrik der Mission, wobei

(i) wenn die Verkehrsflussmetrik unter einem Schwellwert liegt, Modifizieren des wenigstens einen Algorithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder

(ii) wenn die Verkehrsflussmetrik über dem Schwellwert liegt, Klassifizieren der Mission als erfolgreich. Mit einem entsprechenden Algorithmus ausgerüstete Kraftfahrzeuge können als effiziente Führungsfahrzeuge verwendet werden, da der von ihnen angewendete Algorithmus da rauf trainiert ist, den Verkehrsfluss an Verkehrsbrennpunkten dadurch zu verbessern, dass dahinter fahrende konventionelle, von Menschen gefahrene Kraftfahrzeuge zu einem Verkehrsfluss begünstigenden Verhalten gezwungen werden.

Eine entsprechende Verkehrsflussmetrik kann beispielsweise eine Durchschnittsge schwindigkeit sein, die möglichst einer gewissen Mindestgeschwindigkeit entsprechen soll. Eine derartige Mindestgeschwindigkeit kann vorgegeben sein oder aus theoretischen Überlegungen abgeleitet werden, beispielsweise unter Berücksichtigung der Besonderhei ten einer betreffenden Region, beispielsweise unter Berücksichtigung von geltenden Höchstgeschwindigkeiten. Auch können Parameter wie Ampelanlagen Berücksichtigung finden.

Ein entsprechender Verkehrsbrennpunkt kann ein Bereich sein, indem der Verkehr beson ders schlecht fließt. Ein solcher Bereich kann beispielsweise ein Bereich mit vielen Zu fahrten und Abfahrten sein und/oder ein Bereich mit vielen Ampelanlagen.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn Schritt g) (i) erreicht ist, eine andere Mission ausgewählt und das Verfahren mit der anderen Mis sion wiederholt wird.

Durch das wiederholen des Verfahrens mit einer anderen Mission kann eine Überspeziali sierung des Algorithmus vermieden werden.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Mis sion das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt über einen Verkehrsbrennpunkt hinweg darstellt.

Die Route über einen entsprechenden Verkehrsbrennpunkt bildet ein reales Einsatzsze nario ab, nämlich das Leiten des Verkehrs durch Verwendung eines entsprechenden au tomatisiert fahrenden Leitfahrzeugs.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Echt zeit-Verkehrsdaten Infrastrukturinformationen beinhalten. Durch Einbeziehen von Infrastrukturinformationen ist es möglich, das Verkehrsgeschehen realistischer abzubilden und den Algorithmus auf weitere Faktoren zu trainieren, die von der Verkehrsinfrastruktur vorgegeben sind, beispielsweise die Zeitdauer einzelner Ampel phasen im und die Synchronisierung derselben in dem vorgegebenen Verkehrsbrenn punktgebiet.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Mission durch Änderung von Parametern der Verkehrssituation in der Simulationsumgebung vari iert wird und das Verfahren mit der modifizierten Mission durchgeführt wird.

Durch Veränderung der Parameter kann eine Überspezialisierung des Algorithmus verhin dert werden.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass beim Nach stellen der Verkehrssituation in der Simulationsumgebung ein Optimierungsalgorithmus verwendet wird, um Abweichungen zwischen der Simulationsumgebung und den Echtzeit- Verkehrsdaten zu minimieren.

Durch Verwendung eines Optimierungsalgorithmus kann erreicht werden, dass die Ver kehrssimulation ein reales Verkehrsgeschehen im Einsatzgebiet präziser abbilden kann.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Ver kehrsflussmetrik eine Durchschnittsgeschwindigkeit während der Mission enthält.

Die Durchschnittsgeschwindigkeit während der Mission ist eine geeignete Metrik, um den Verkehrsfluss zu analysieren.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Algorith mus mittels eines verstärkenden Lernen-Algorithmus trainiert wird.

Verstärkende Lernen-Algorithmen eignen sich besonders für Optimierungsaufgaben wie die vorliegende. Ein weiterer unabhängiger Gegenstand betrifft eine Vorrichtung zum Trainieren wenigs tens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Ag gregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstler nendes neuronales Netz trainiert wird, wobei die Vorrichtung dazu ausgebildet ist, fol gende Schritte durchzuführen: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Simulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regel satz bestimmt ist, c) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets so wie Nachstellen der Verkehrssituation in der Simulationsumgebung; d) Bestimmen von Verkehrsbrennpunkten anhand der Echtzeit-Verkehrsdaten an hand einer Verkehrsflussmetrik; e) Bereitstellen einer Mission für das Kraftfahrzeug, in der das Kraftfahrzeug vor we nigstens einem weiteren simulierten Kraftfahrzeug fährt; f) Durchführen einer Simulation der Mission in der Simulationsumgebung; g) Bestimmen der Verkehrsflussmetrik der Mission, wobei

(i) wenn die Verkehrsflussmetrik unter einem Schwellwert liegt, Modifizieren des wenigstens einen Algorithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder

(ii) wenn die Verkehrsflussmetrik über dem Schwellwert liegt, Klassifizieren der Mission als erfolgreich.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, eine andere Mission auszuwählen und das Verfahren mit der anderen Mission zu wiederholen, wenn Schritt i) erreicht ist.

In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Mis sion das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt über einen Verkehrsbrennpunkt hinweg darstellt.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Echt zeit-Verkehrsdaten Infrastrukturinformationen beinhalten.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Mission durch Änderung von Parametern der Verkehrssitua tion in der Simulationsumgebung zu variieren und das Verfahren mit der modifizierten Mission durchzuführen.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist beim Nachstellen der Verkehrssituation in der Simulationsumge bung ein Optimierungsalgorithmus zu verwenden, um Abweichungen zwischen der Simu lationsumgebung und den Echtzeit-Verkehrsdaten zu minimieren.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Ver kehrsflussmetrik eine Durchschnittsgeschwindigkeit während der Mission enthält.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, den Algorithmus mittels eines verstärkenden Lernen-Algorith mus zu trainieren.

Ein weiterer unabhängiger Gegenstand betrifft ein Verfahren zur Optimierung eines Ver kehrsflusses in einer Region, wobei wenigstens ein Führungsfahrzeug verwendet wird, um Fahrverhalten von hinter dem Führungsfahrzeug fahrenden Kraftfahrzeuge durch das Führungsfahrzeug zu regulieren, wobei das wenigstens eine Führungsfahrzeug ein auto nom fahrendes Kraftfahrzeug ist, wobei das wenigstens eine Führungsfahrzeug mittels ei nes Algorithmus gesteuert wird, der nach dem zuvor beschriebenen Verfahren trainiert wurde.

Mithilfe eines entsprechenden autonom fahrenden Führungsfahrzeugs ist es möglich, den Verkehrsfluss an Verkehrsbrennpunkten effektiv zu regeln.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass das wenigs tens eine Führungsfahrzeug von einer Infrastruktursteuerung Infrastrukturinformationen erhält, wobei das Führungsfahrzeug sein Fahrverhalten an die empfangenen Infrastruktur informationen anpasst.

Durch die Verwendung von Infrastrukturinformationen, z.B. Informationen zu Ampelschal tungen, Spurregelungen oder dergleichen, ist es möglich, den Verkehrsfluss effizienter zu regeln, da das Führungsfahrzeug seine Fahrweise auf die gegebenen Umstände anpas sen kann, zum Beispiel um möglichst viele Ampeln bei Grün zu überfahren.

Ein weiterer unabhängiger Gegenstand betrifft ein Führungsfahrzeug zur Optimierung ei nes Verkehrsflusses durch Regulieren des Fahrverhaltens von hinter dem Führungsfahr zeug fahrenden Kraftfahrzeugen in einer Region, wobei das wenigstens eine Führungs fahrzeug ein autonom fahrendes Kraftfahrzeug ist, wobei das wenigstens eine Führungs fahrzeug einen das Führungsfahrzeug steuernden Algorithmus aufweist, wobei der nach dem zuvor beschriebenen Verfahren trainiert ist.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das wenigs tens eine Führungsfahrzeug Mittel zum Empfang von Infrastrukturinformationen von einer Infrastruktursteuerung aufweist, wobei das Führungsfahrzeug dazu eingerichtet ist, sein Fahrverhalten an die empfangenen Infrastrukturinformationen anzupassen.

Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Re cheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.

Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.

Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem Computerpro grammprodukt der zuvor beschriebenen Art.

Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:

Fig. 1 eine Draufsicht auf ein Kraftfahrzeug;

Fig. 2 ein Computerprogrammproduktmodul;

Fig. 3 eine Straßenkarte eines real existierenden Einsatzgebiets, sowie Fig. 4 ein Ablaufdiagramm eines Trainingsverfahrens.

Fig. 1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren einge richtet ist. Das Kraftfahrzeug 2 ist als Führungsfahrzeug zur Regelung von Verkehr an Verkehrsbrennpunkten vorgesehen.

Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Spei cher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfol genden im Zusammenhang mit den Fig. 2 bis 4 noch eingehender beschrieben wird.

Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssi tuation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahr zeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 so wie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen.

Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgese hen, unter anderem Raddrehzahlsensoren 16 und Beschleunigungssensoren 18, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahrzeugsensorik kann der mo mentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden. Des Weiteren ist eine Kommunikationsvorrichtung 20 vorgesehen, die zur drahtlosen Kommunikation mit entfernt angeordneten Rechnern oder Rechenzentren ausgebildet ist, um von diesen Infrastrukturinformationen zu erhalten, also Informationen über Ampelpha sen, Verkehrsaufkommen in bestimmten Regionen etc., um diese Informationen bei einer Fahrplanung zu verwerten. Die Kommunikationsvorrichtung 20 kann Daten senden und empfangen und dazu gängige Standards wie LTE, 3G, 4G oder dergleichen verwenden. Die Kommunikation kann über Car2X-Kommunikationsmöglichkeiten auch direkt mit akti ven Objekten in der Infrastruktur stattfinden, zum Beispiel mit kommunikationsfähigen Am pelanlagen.

Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind.

Daten der Sensoren 10 bis 18 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weite ren Auswertung zur Verfügung stehen können.

Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert.

Fig. 2 zeigt ein Computerprogrammprodukt 28 mit einem Computerprogrammproduktmo dul 30.

Das Computerprogrammproduktmodul 30 weist ein selbstlernendes neuronales Netz 32 auf, das einen Algorithmus 34 trainiert. Das selbstlernende neuronale Netz 32 lernt nach Methoden des bestärkenden Lernens, d. h. das neuronale Netz 32 versucht durch Varia tion des Algorithmus 34, Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 34, zu erhalten.

In alternativen Ausführungsbeispielen können auch andere bekannte Lernverfahren des überwachten und unüberwachten Lernens, sowie Kombinationen dieser Lernverfahren verwendet werden.

Der Algorithmus 34 kann im Wesentlichen ein komplexer Filter mit einer Matrix aus Wer ten, in der Regel von Fachmännern Gewichte genannt, bestehen, die eine Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 18 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.

Das Computerprogrammproduktmodul 30 kann sowohl im Kraftfahrzeug 2 als auch au ßerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 30 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren. Insbesondere beginnt das Training gemäß der hier beschriebenen Lehre in einer Simulationsumgebung, da dies sicherer ist als ein Training in einer realen Umgebung.

Das Computerprogrammproduktmodul 30 ist dazu eingerichtet, eine Metrik aufzustellen und auszuwerten, die verbessert werden soll.

Eine solche Metrik ist im vorliegenden Fall beispielsweise eine Durchschnittsgeschwindig keit zum Passieren eines Verkehrsbrennpunktes, also eines Bereiches, in dem der Ver kehr zumindest zu bestimmten Zeiten besonders schlecht fließt.

Wenn die Metrik eine gewisse Schwelle überschritten hat, z.B. eine Geschwindigkeit einer hinter dem als Führungsfahrzeug eingesetzten Kraftfahrzeug 2 geführten Kolonne größer als eine Grenzgeschwindigkeit, kann die Metrik als erfüllt gelten und eine andere Mission ausgewählt und der Algorithmus anhand der anderen Mission weiter trainiert werden oder der Algorithmus kann hinsichtlich dieser Metrik eingefroren werden. Dann kann entweder hinsichtlich einer anderen Metrik optimiert und weiter trainiert werden oder der Algorith mus kann in einer realen Umgebung getestet werden.

Fig. 3 zeigt eine Simulationsumgebung 38 ein Areal einer real existierenden Kreuzung 40.

Die Kreuzung 40 stellt einen Verkehrsbrennpunkt dar, an dem der Verkehr zu Stoßzeiten besonders schlecht fließt. Zur Verbesserung des Verkehrsflusses wird das autonom fahrende Kraftfahrzeug 2 ver wendet, dessen Fahrweise auf einen optimalen Verkehrsfluss hin optimiert ist, vorliegend eine größtmögliche Durchschnittsgeschwindigkeit vd. Das Kraftfahrzeug 2 stellt ein Füh rungsfahrzeug dar, welches das das Fahrverhalten von hinter dem Führungsfahrzeug 2 fahrenden Verkehrsteilnehmern, hier einem Motorradfahrer 42 sowie Kraftfahrzeugen 44, 46 reguliert. Die Fahrzeuge 42, 44, 46 können nicht schneller fahren als das Kraftfahrzeug 2.

Das Kraftfahrzeug 2 reguliert jedoch nicht nur die Geschwindigkeit der nachfolgenden Fahrzeuge 42, 44 und 46, sondern auch das andere Verhalten, insbesondere das Brems verhalten der entsprechenden Fahrzeuge 42, 44 und 46, beispielsweise durch Limitierung einer maximalen Verzögerung des Kraftfahrzeugs 2, also durch besonders sanftes Fah ren. Hierdurch kann die Wahrscheinlichkeit reduziert werden, dass die Kolonne aus den Fahrzeugen 42, 44 und 46 zu stark bremst und dadurch der Verkehrsfluss ins Stocken ge rät.

Das Kraftfahrzeug 2 kann mittels seiner Kommunikationsvorrichtung mit einer Verkehrsinf rastruktur, hier einer Ampel 48 kommunizieren. Hierdurch ist es möglich, die Fahrge schwindigkeit an die entsprechenden Ampelphasen anzupassen, um möglichst stets zu Beginn einer Grünphase über Ampeln zu fahren.

Fig. 4 zeigt ein Ablaufdiagramm des Verfahrens.

Zunächst wird nach dem Start das Computerprogrammproduktmodul bereitgestellt. Das Computerprogrammproduktmodul beinhaltet den zu trainierenden Algorithmus und ein selbstlernendes neuronales Netz.

Anschließend wird auf der Basis von realen Kartendaten eine Simulationsumgebung be reitgestellt. Die Simulationsumgebung kann neben Straßen und bestimmten Regeln auch andere Verkehrsteilnehmer nebst deren Missionen enthalten.

In einem weiteren Schritt wird eine Mission in der Simulationsumgebung bestimmt. Die Mission kann, wie im Zusammenhang mit Fig. 3 gezeigt, das Abfahren einer bestimmten Route von einem Startpunkt zu einem Zielpunkt durch einen Verkehrsbrennpunkt sein. Sodann wird die Simulation durchgeführt und eine Durchschnittsgeschwindigkeit be stimmt. Die Durchschnittsgeschwindigkeit wird mit einer zu erreichenden Durchschnittsge schwindigkeit als Verkehrsflussmetrik verglichen. Hierdurch ist es möglich, durch Verstär- kendes-Lernen-Verfahren das Fahrverhalten des autonom fahrenden Kraftfahrzeuges 2, das den entsprechenden Algorithmus 34 verwendet, so zu optimieren, dass das entspre chende autonom fahrende Kraftfahrzeug 2 als Führungsfahrzeug verwendet werden kann.

Wird die entsprechende Metrik erreicht, kann das Verfahren anhand von anderen Missio nen wiederholt werden und der Algorithmus wird universeller einsetzbar.

Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.

Bezugszeichenliste

2 Kraftfahrzeug

4 Steuergerät

6 Recheneinheit

8 Speicher

10 Umgebungssensor

11 Umgebungssensor

12 Umgebungssensor

13 Umgebungssensor

14 Kamera

15 GPS-Modul

16 Raddrehzahlsensor

18 Beschleunigungssensor

20 Kommunikationsvorrichtung

22 Lenkung

24 Motorsteuerung

26 Bremsen

28 Computerprogrammprodukt

30 Computerprogrammproduktmodul

32 neuronales Netz

34 Algorithmus

38 Simulationsumgebung

40 Kreuzung

42 Motorrad

44 Kraftfahrzeug

46 Kraftfahrzeug

48 Ampel vd Durchschnittsgeschwindigkeit