Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR ADJUSTING THE STATE OF ATTENTION OF A DRIVER OF A VEHICLE
Document Type and Number:
WIPO Patent Application WO/2024/083687
Kind Code:
A1
Abstract:
The invention describes a device (101) for adjusting a state of attention of a driver of a vehicle (100) with regard to the driving of the vehicle. The device is configured to identify that the actual state of attention of the driver deviates from a reference state of attention. The device is furthermore configured, based on a driver-specific profile (210), to determine one or more stimuli (207) that aim to bring the actual state of attention of the driver closer to the reference state of attention. The device is furthermore configured to prompt one or more stimulation units (104) of the vehicle to generate the one or more determined stimuli.

Inventors:
REMPE FELIX (DE)
MOSER UWE (DE)
Application Number:
PCT/EP2023/078540
Publication Date:
April 25, 2024
Filing Date:
October 13, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BAYERISCHE MOTOREN WERKE AG (DE)
International Classes:
B60W50/14; B60K28/02; B60W50/10; B60W60/00; B60W50/00
Foreign References:
DE102018125939A12020-04-23
US20210237645A12021-08-05
DE102020100273A12021-07-15
DE102020204964A12021-10-21
Download PDF:
Claims:
Ansprüche

1) Vorrichtung (101) zur Anpassung eines Aufmerksamkeitszustands eines Fahrers eines Fahrzeugs (100) bezüglich eines Fährbetriebs des Fahrzeugs (100); wobei die Vorrichtung (101) eingerichtet ist,

- zu bestimmen, dass ein Ist- Aufmerksamkeitszustand des Fahrers von einem Soll-Aufmerksamkeitszustand abweicht;

- anhand eines Fahrer-spezifischen Profils (210) ein oder mehrere Reize (207) zu ermitteln, die darauf ausgerichtet sind, den Ist- Aufmerksamkeitszustand des Fahrers an den Soll- Aufmerksamkeitszustand anzunähern; und

- ein oder mehrere Reizeinheiten (104) des Fahrzeugs (100) zu veranlassen, die ein oder mehreren ermittelten Reize (207) zu generieren.

2) Vorrichtung (101) gemäß Anspruch 1, wobei

- die Vorrichtung (101) eingerichtet ist, anhand des Fahrer-spezifischen Profils (210) einen Typ eines Reizes (207) und/oder eine Intensität eines Reizes (207) zu ermitteln; und

- der Typ eines Reizes (207) insbesondere umfasst,

- einen akustischen Reiz, insbesondere die Ausgabe eines Tons oder einer Abfolge von Tönen;

- einen optischen Reiz, insbesondere die Ausgabe eines Lichtsignals, eines Symbols oder eines Texthinweises;

- einen haptischen Reiz, insbesondere das Erzeugen einer Vibration;

- einen olfaktorischen Reiz, insbesondere das Freisetzen eines Duftstoffes; und/oder

- einen auf den Gleichgewichtssinn wirkenden Reiz, insbesondere eine Beschleunigung oder eine Verzögerung des Fahrzeugs (100).

3) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist,

- eine Zustands- Abweichung (203) des Ist- Aufmerksamkeitszustands von dem Soll-Aufmerksamkeitszustand zu ermitteln; und

- die ein oder mehreren Reize (207) in Abhängigkeit von der Zustands- Abweichung (203) zu ermitteln.

4) Vorrichtung (101) gemäß Anspruch 3, wobei das Fahrer-spezifische Profil (210) für eine Vielzahl von unterschiedlichen Zustands-Abweichungen (203) jeweils ein oder mehrere Reize (207), insbesondere jeweils eine Kombination von ein oder mehreren Reizen (207), anzeigt, die darauf ausgelegt sind, die jeweilige Zustands- Abweichung (203) zu reduzieren.

5) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, das Fahrer-spezifische Profil (210) im Rahmen eines Lernprozesses spezifisch für den Fahrer des Fahrzeugs (100) anzulemen.

6) Vorrichtung (101) gemäß Anspruch 5, wobei die Vorrichtung (101) eingerichtet ist,

- eine Änderung des Ist- Aufmerksamkeitszustands des Fahrers in Reaktion auf die ein oder mehreren generierten Reize (207) zu ermitteln; und

- das Fahrer-spezifische Profil (210) auf Basis der ermittelten Änderung des Ist-Aufmerksamkeitszustands anzupassen und/oder anzulemen.

7) Vorrichtung (101) gemäß einem der Ansprüche 5 bis 6, wobei die Vorrichtung (101) eingerichtet ist, - insbesondere über eine Benutzerschnittstelle, eine Rückmeldung, insbesondere eine Nutzereingabe, des Fahrers in Bezug auf die ein oder mehreren generierten Reize (207) und/oder in Bezug auf ein oder mehrere generierte Test-Reize (207) zu ermitteln; und

- das Fahrer-spezifische Profil (210) auf Basis der Rückmeldung des Fahrers anzupassen und/oder anzulernen. ) Vorrichtung (101) gemäß einem der Ansprüche 5 bis 7, wobei die Vorrichtung (101) eingerichtet ist, das Fahrer-spezifische Profil (210) durch eine Maschine-Lem-Methode, insbesondere durch Reinforcement Learning, anzulemen. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist,

- zu bestimmen, dass der Ist- Aufmerksamkeitszustand um zumindest einen Abweichungs-Schwellenwert von dem Soll- Aufmerksamkeitszustand abweicht, insbesondere seit zumindest einer maximal zulässigen Abweichungs-Zeitdauer; und

- in Reaktion auf das Bestimmen, ein oder mehrere Sicherheitsmaßnahmen zu bewirken, die insbesondere darauf ausgerichtet sind, eine Eingriffszeitdauer für einen Eingriff in die Längs- und/oder Querführung des Fahrzeugs (100) zu verkürzen; wobei die ein oder mehreren Sicherheitsmaßnahmen insbesondere umfassen

- eine Erhöhung eines Bremsdrucks einer Bremse des Fahrzeugs (100);

- eine Straffung eines Sicherheitsgurts des Fahrzeugs (100); und/oder

- eine Konditionierung einer Lenkung des Fahrzeugs (100). ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist,

- den Soll -Aufmerksamkeitszustand auf Basis von Umfelddaten von ein oder mehreren Umfeldsensoren (102) des Fahrzeugs (100) zu ermitteln; und/oder

- den Ist- Aufmerksamkeitszustand auf Basis von Fahrerdaten von ein oder mehreren Fahrersensoren (105) des Fahrzeugs (100) zu ermitteln. ) Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, wiederholt, insbesondere periodisch,

- den Ist- Aufmerksamkeitszustand des Fahrers zu ermitteln und mit dem Soll-Aufmerksamkeitszustand zu vergleichen; und

- die ein oder mehreren generierten Reize (207) in Abhängigkeit von dem Vergleich und unter Verwendung des Fahrer-spezifischen Profils (201) anzupassen, insbesondere um den Ist- Aufmerksamkeitszustand auf den Soll-Aufmerksamkeitszustand zu regeln. ) Verfahren (300) zur Anpassung eines Aufmerksamkeitszustands eines Fahrers eines Fahrzeugs (100) bezüglich eines Fährbetriebs des Fahrzeugs (100); wobei das Verfahren (300) umfasst,

- Bestimmen (301), dass ein Ist-Aufmerksamkeitszustand des Fahrers von einem Soll-Aufmerksamkeitszustand abweicht;

- Ermitteln (302), anhand eines Fahrer-spezifischen Profils (210), ein oder mehrerer Reize (207), die darauf ausgerichtet sind, den Ist- Aufmerksamkeitszustand des Fahrers an den Soll- Aufmerksamkeitszustand anzunähern; und

- Generieren (303) der ein oder mehreren ermittelten Reize (207).

Description:
Verfahren und Vorrichtung zur Anpassung des Aufmerksamkeitszustands eines Fahrers eines Fahrzeugs

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die darauf ausgerichtet sind, den Aufmerksamkeitszustand, insbesondere den Grad der Aufmerksamkeit, des Fahrers eines Fahrzeugs an die jeweils vorliegende Fahr- und/oder Verkehrs situation anzupassen.

Der Fahrer eines zumindest teilweise automatisiert fahrenden Fahrzeugs hat ggf. die Möglichkeit, sich zumindest zeitweise anderen Dingen als der Fahraufgabe zu widmen. Dabei kann es je nach Automatisierungsgrad des Fahrzeugs für den Fahrer möglich sein, die Hände vom Lenkrad zu nehmen und/oder sich mit einem elektronischen Anwendergerät (z.B. Smartphone) zu beschäftigen. Der Fahrer kann somit während des automatisierten Fährbetriebs des Fahrzeugs ggf. einen relativ niedrigen Aufmerksamkeitsgrad in Bezug auf die Fahraufgabe aufweisen. Bei bestimmten Fahrsituationen kann es erforderlich sein, dass der Fahrer seine Aufmerksamkeit in Bezug auf die Fahraufgabe erhöht, z.B. wenn ein auf der Fahrbahn liegendes Objekt erkannt wird. Der erforderliche Aufmerksamkeitsgrad des Fahrers, bzw. allgemein der erforderliche Aufmerksamkeitszustand des Fahrers, kann somit während einer Fahrt des Fahrzeugs variieren.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, den Aufmerksamkeitszustand des Fahrers eines Fahrzeugs in besonders komfortabler und zuverlässiger Weise einzustellen.

Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.

Gemäß einem Aspekt wird eine Vorrichtung zur Anpassung des Aufmerksamkeitszustands (insbesondere des Grads der Aufmerksamkeit) des Fahrers eines (Kraft-) Fahrzeugs bezüglich des Fährbetriebs des Fahrzeugs beschrieben. Der Grad der Aufmerksamkeit kann z.B. zwischen 0% (keine Aufmerksamkeit bzgl. des Fährbetriebs) und 100% (volle Aufmerksamkeit bzgl. des Fährbetriebs) variieren. Die Vorrichtung kann eingerichtet sein, zu bestimmen, dass der (aktuelle) Ist- Aufmerksamkeitszustand des Fahrers von einem (aktuellen) Soll- Aufmerksamkeitszustand abweicht. Der Ist- Aufmerksamkeitszustand kann z.B. auf Basis von Fahrerdaten von ein oder mehreren Fahrersensoren (z.B. von einer Innenraumkamera, von einem Pulssensor, von einem Blutdrucksensor, von einem Hands-On Sensor, etc.) des Fahrzeugs ermittelt werden. Der Soll- Aufmerksamkeitszustand kann auf Basis von Umfelddaten von ein oder mehreren Umfeldsensoren (z.B. von einer Umfeldkamera, von einem Radarsensor, von einem Lidarsensor, von einem Ultraschall sensor, etc.) des Fahrzeugs ermittelt werden.

Der Soll-Aufmerksamkeitszustand kann in Abhängigkeit von der jeweils vorliegenden Fahr- und/oder Verkehrssituation des Fahrzeugs variieren. Das Fahrzeug kann z.B. mit einer Fahrfunktion gemäß einem bestimmten SAE-Level (z.B. 2 oder mehr, oder 3 oder mehr) betrieben werden, sodass der Soll- Aufmerksamkeitszustand (insbesondere der Soll-Grad der Aufmerksamkeit) relativ niedrig ist. Andererseits kann es zu einer Verkehrssituation kommen, die eine stärkere Einbindung des Fahrers erfordert, sodass der Soll- Aufmerksamkeitszustand (insbesondere der Soll-Grad der Aufmerksamkeit) steigt.

Der Soll- und/oder Ist-Aufmerksamkeitszustand kann durch ein oder mehrere Zustandsgrößen beschrieben und/oder definiert sein. Beispielhafte Zustandsgrößen sind,

• die Blickrichtung des Fahrers;

• der Puls des Fahrers;

• die Position der Hände des Fahrers; und/oder

• der Blutdruck des Fahrers.

Der Soll-Aufmerksamkeitszustand kann Sollwerte für ein oder mehrere Zustandsgrößen und der Ist-Aufmerksamkeitszustand kann Istwerte für ein oder mehrere Zustandsgrößen anzeigen. Der Ist-Aufmerksamkeitszustand kann mit dem Soll- Aufmerksamkeitszustand verglichen werden, um eine Zustands-Abweichung zu ermitteln. Es kann dann auf Basis des Vergleichs und/oder auf Basis der Zustands-Abweichung bestimmt werden (z.B., wenn die Zustands-Abweichung betraglich größer als ein bestimmte Abweichungs-Schwellenwert ist), dass der (aktuelle) Ist-Aufmerksamkeitszustand des Fahrers von einem (aktuellen) Soll-Aufmerksamkeitszustand abweicht.

Die Vorrichtung ist ferner eingerichtet, anhand eines Fahrer-spezifischen Profils ein oder mehrere Reize (insbesondere eine Kombination von ein oder mehreren Reizen) zu ermitteln, die darauf ausgerichtet sind, den Ist- Aufmerksamkeitszustand des Fahrers an den Soll-Aufmerksamkeitszustand anzunähem.

Dabei können anhand des Fahrer-spezifischen Profils insbesondere der Typ eines Reizes und/oder die Intensität eines Reizes ermittelt werden. Beispielhafte Reiztypen sind,

• ein akustischer Reiz, insbesondere die Ausgabe eines Tons oder einer Abfolge von Tönen;

• ein optischer Reiz, insbesondere die Ausgabe eines Lichtsignals, eines Symbols oder eines Texthinweises;

• ein haptischer Reiz, insbesondere das Erzeugen einer Vibration;

• ein olfaktorischer Reiz, insbesondere das Freisetzen eines Duftstoffes; und/oder

• ein auf den Gleichgewichtssinn wirkender Reiz, insbesondere eine Beschleunigung oder eine Verzögerung des Fahrzeugs.

Die Vorrichtung kann somit eingerichtet, eine Zustands-Abweichung des Ist- Aufmerksamkeitszustands von dem Soll-Aufmerksamkeitszustand zu ermitteln. Die ein oder mehreren Reize (insbesondere die Kombination von ein oder mehreren Reizen) können dann in Abhängigkeit von der Zustands-Abweichung (und unter Berücksichtigung des Fahrer-spezifischen Profils) ermittelt werden. Zu diesem Zweck kann das Fahrer-spezifische Profil ausgebildet sein für eine Vielzahl von unterschiedlichen Zustands-Abweichungen jeweils ein oder mehrere Reize, insbesondere jeweils eine Kombination von ein oder mehreren Reizen, anzuzeigen, die darauf ausgelegt sind, die jeweilige Zustands- Abweichung (besonders zuverlässig) zu reduzieren.

Es kann somit ein Fahrer-spezifisches Profil herangezogen werden, um eine Kombination von ein oder mehreren Reizen zu ermitteln, durch die der Ist- Aufmerksamkeitszustand (insbesondere der Ist-Grad der Aufmerksamkeit) des spezifischen Fahrers in besonders zuverlässiger Weise an den Soll- Aufmerksamkeitszustand (insbesondere an den Soll-Grad der Aufmerksamkeit) angenähert werden kann.

Das Fahrer-spezifische Profil kann im Rahmen eines Lernprozesses spezifisch für den Fahrer des Fahrzeugs angelernt worden sein. Dabei können für unterschiedliche Fahrer unterschiedliche Fahrer-spezifische Profile erlernt und/oder bereitgestellt worden sein. Die Vorrichtung kann eingerichtet sein, die Identität des Fahrers zu bestimmen (z.B. auf Basis der Fahrerdaten der ein oder mehreren Fahrersensoren und/oder auf Basis eines Fahrzeugschlüssels). Das Fahrer-spezifische Profil kann dann in Abhängigkeit von der Identität des Fahrers ermittelt, insbesondere aus einer Datenbank mit einer Vielzahl von unterschiedlichen Fahrer-spezifischen Profilen für unterschiedliche Fahrer ausgewählt werden.

Die Vorrichtung ist ferner eingerichtet, ein oder mehrere Reizeinheiten (z.B. einen Lautsprecher, ein Leuchtelement, einen Bildschirm, einen Duftzerstäuber, einen Antriebsmotor, eine Bremse, eine Vibrationseinheit, etc.) des Fahrzeugs zu veranlassen, die ein oder mehreren ermittelten Reize zu generieren. Durch die Verwendung eines Fahrer-spezifischen Profils für die Generierung von (Fahrerspezifischen) Reizen kann der Ist-Aufmerksamkeitszustand des Fahrers in besonders komfortabler und zuverlässiger Weise an den Soll- Aufmerksamkeitszustand angepasst werden. So können der Komfort und die Sicherheit des Fahrzeugs erhöht werden.

Die Vorrichtung kann eingerichtet sein, wiederholt, insbesondere periodisch, den Ist- Aufmerksamkeitszustand des Fahrers zu ermitteln und mit dem Soll- Aufmerksamkeitszustand zu vergleichen (um die jeweilige Zustands-Abwei chung zu ermitteln). Die ein oder mehreren generierten Reize (insbesondere die Kombination von ein oder mehreren Reizen) kann dann jeweils in Abhängigkeit von dem Vergleich und unter Verwendung des Fahrer-spezifischen Profils wiederholt, insbesondere periodisch, angepasst werden, insbesondere um den Ist- Aufmerksamkeitszustand auf den Soll-Aufmerksamkeitszustand zu regeln. So kann der Ist-Aufmerksamkeitszustand des Fahrers in besonders zuverlässiger Weise an den jeweils erforderlichen Soll-Aufmerksamkeitszustand angepasst werden.

Die Vorrichtung kann eingerichtet sein, eine Änderung des Ist- Aufmerksamkeitszustands des Fahrers in Reaktion auf die ein oder mehreren generierten Reize zu ermitteln. Mit anderen Worten, es kann ermittelt werden, wie sich der Ist- Aufmerksamkeitszustand des Fahrers in Reaktion auf die ein oder mehreren generierten Reize verändert hat. Das Fahrer-spezifische Profil kann dann auf Basis der ermittelten Änderung des Ist- Aufmerksamkeitszustands angepasst und/oder angelernt werden. Dabei kann z.B. eine Änderung des Profils vorgenommen werden (um die Intensität und/oder den Reiztyp zu ändern), wenn durch die ein oder mehreren generierten Reize keine wesentliche Veränderung des Ist- Aufmerksamkeitszustands bewirkt wurde. So kann das Profil in besonders zuverlässiger Weise an den Fahrer angepasst werden.

Die Vorrichtung kann eingerichtet sein, insbesondere über eine Benutzerschnittstelle (des Fahrzeugs), eine Rückmeldung, insbesondere eine Nutzereingabe, des Fahrers in Bezug auf die ein oder mehreren generierten Reize und/oder in Bezug auf ein oder mehrere generierte Test-Reize zu ermitteln. Das Fahrer-spezifische Profil kann dann in besonders zuverlässiger Weise auf Basis der Rückmeldung des Fahrers angepasst und/oder angelernt werden.

Die Vorrichtung kann insbesondere eingerichtet sein, das Fahrer-spezifische Profil durch eine Maschine-Lem-Methode, insbesondere durch Reinforcement Learning, anzulemen.

Die Vorrichtung kann eingerichtet sein, zu bestimmen, dass der Ist- Aufmerksamkeitszustand um zumindest einen Abweichungs-Schwellenwert von dem Soll -Aufmerksamkeitszustand abweicht, insbesondere seit zumindest einer maximal zulässigen Abweichungs-Zeitdauer. In Reaktion darauf können dann ein oder mehrere Sicherheitsmaßnahmen bewirkt werden, die insbesondere darauf ausgerichtet sind, die Eingriffszeitdauer für einen Eingriff in die Längs- und/oder Querführung des Fahrzeugs zu verkürzen. Beispielhafte Sicherheitsmaßnahmen sind,

• die Erhöhung des Bremsdrucks einer Bremse des Fahrzeugs;

• die Straffung eines Sicherheitsgurts des Fahrzeugs; und/oder

• die Konditionierung der Lenkung des Fahrzeugs.

So kann die Fahrsicherheit des Fahrzeugs weiter erhöht werden.

Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.

Gemäß einem weiteren Aspekt wird ein Verfahren zur Anpassung des Aufmerksamkeitszustands eines Fahrers eines (Kraft-) Fahrzeugs beschrieben. Es wird dabei der Aufmerksamkeitszustand des Fahrers bezüglich des Fährbetriebs des Fahrzeugs betrachtet. Das Verfahren umfasst das Bestimmen, dass der (aktuelle) Ist-Aufmerksamkeitszustand des Fahrers von dem (aktuellen) Soll- Aufmerksamkeitszustand abweicht. Das Verfahren umfasst ferner das Ermitteln, anhand eines Fahrer-spezifischen Profils, ein oder mehrerer Reize (insbesondere einer Kombination von ein oder mehreren Reizen), die darauf ausgerichtet sind, den Ist- Aufmerksamkeitszustand des Fahrers an den Soll- Aufmerksamkeitszustand anzunähern (insbesondere anzugleichen). Des Weiteren umfasst das Verfahren das Generieren der ein oder mehreren ermittelten Reize.

Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese

Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe B ASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster

Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

Figur 1 beispielhafte Komponenten eines Fahrzeugs;

Figur 2 einen beispielhaften Regelkreis zur Einstellung des Aufmerksamkeitszustands des Fahrers eines Fahrzeugs; und Figur 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Einstellung des Aufmerksamkeitszustands des Fahrers eines Fahrzeugs.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der zuverlässigen und komfortablen Einstellung des Aufmerksamkeitszustands des Fahrers eines Fahrzeugs. In diesem Zusammenhang zeigt Fig. 1 ein beispielhaftes Fahrzeug 100 mit ein oder mehreren Umfeldsensoren 102, die jeweils eingerichtet sind, Sensordaten (d.h. Umfelddaten) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind Radarsensoren, Lidarsensoren, Ultraschall sensoren, Kameras, etc.

Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 ist eingerichtet, auf Basis der Umfelddaten ein oder mehrere Objekte im Umfeld des Fahrzeugs 100 zu detektieren. Insbesondere kann auf Basis der Umfelddaten ein Umfeldmodell des Umfelds des Fahrzeugs 100 erstellt werden. Ferner kann eine Fahrsituation erkannt werden, in der sich das Fahrzeug 100 befindet oder befinden wird.

Die Vorrichtung 101 kann eingerichtet sein, ein oder mehrere (Längs- und/oder Querführungs-) Aktoren 103 des Fahrzeugs 100 in Abhängigkeit von den Umfelddaten, insbesondere in Abhängigkeit von dem Umfeldmodell, zu betreiben, um eine Fahrfunktion bereitzustellen, durch die das Fahrzeug 100 zumindest teilweise oder vollständig automatisiert längs- und/oder quergeführt wird.

Das Fahrzeug 100 kann ein oder mehrere Fahrersensoren 105 umfassen, mit denen jeweils Sensordaten (d.h. Fahrerdaten) in Bezug auf den Fahrer des Fahrzeugs 100 erfasst werden können. Die Vorrichtung 101 kann eingerichtet sein, auf Basis der Fahrerdaten den Ist- Aufmerksamkeitszustand des Fahrers zu ermitteln. Der Ist-Aufmerksamkeitszustand kann insbesondere einen Ist-Grad der Aufmerksamkeit des Fahrers in Bezug auf den Fährbetrieb des Fahrzeugs 100 anzeigen (wobei der Ist-Grad z.B. zwischen 0% (für keine Aufmerksamkeit in Bezug auf den Fährbetrieb) und 100% (für volle Aufmerksamkeit in Bezug auf den Fährbetrieb) variieren kann. Die ein oder mehreren Fahrersensoren 105 können ein oder mehrere Kameras, ein oder mehrere Vital Sensoren (z.B. einen Pulsmesser, einen Blutdruckmesser, etc.) zur Erfassung von Vitaldaten, etc. umfassen.

Das Fahrzeug 100 umfasst ferner ein oder mehrere Reizeinheiten 104, mit denen jeweils ein Reiz auf den Fahrer des Fahrzeugs 100 bewirkt werden kann, um den Ist- Aufmerksamkeitszustand des Fahrers zu verändern. Durch die ein oder mehreren Reizeinheiten 104 können ggf. unterschiedliche Typen von Reizen erzeugt werde. Beispielhafte Reiztypen sind,

• ein akustischer Reiz (z.B. durch Ausgabe eines Tons oder einer Melodie);

• ein optischer Reiz (z.B. durch Ausgabe eines Lichtsignals);

• ein haptischer Reiz (z.B. durch Bewirken einer Vibration);

• ein olfaktorischer Reiz (z.B. durch Freisetzen eines Duftstoffes); und/oder

• ein Reiz auf das Gleichgewichtsorgan des Fahrers (z.B. durch Bewirken einer Längs- und/oder Querbeschleunigung des Fahrzeugs 100).

Die Vorrichtung 101 kann eingerichtet sein, die Intensität (z.B. die Lautstärke, die Helligkeit, etc.) des von einer Reizeinheit 104 bewirkten Reizes zu verändern.

Während einer Fahrt des Fahrzeugs 100 ist das Fahrzeug 100 typischerweise in unterschiedliche Verkehrssituationen involviert, die ggf. jeweils einen unterschiedlichen Grad an Aufmerksamkeit des Fahrers in Bezug auf den Fährbetrieb des Fahrzeugs 100 erfordern. Beispielsweise kann es bei einer Autobahnfahrt für den Fahrer möglich sein, die Hände vom Lenkrad des Fahrzeugs 100 zu nehmen, und seine Aufmerksamkeit vollständig von dem Fährbetrieb des Fahrzeugs 100 abzuwenden. Andererseits kann es an einer Baustelle oder an einer Abfahrt von der Autobahn erforderlich sein, dass der Fahrer die Hände an das Lenkrad legt und die Fahraufgabe des Fahrzeugs 100 überwacht. Der jeweils erforderliche Soll-Aufmerksamkeitszustand des Fahrers kann somit während einer Fahrt des Fahrzeugs 100 variieren.

Die Vorrichtung 101 kann eingerichtet sein, den jeweils erforderlichen Soll- Aufmerksamkeitszustand auf Basis der Umfelddaten zu ermitteln. Des Weiteren kann die Vorrichtung 101 eingerichtet sein, auf Basis der Fahrerdaten den jeweils vorliegenden Ist- Aufmerksamkeitszustand zu ermitteln. Die ein oder mehreren Reizeinheiten 104 können dann in Abhängigkeit von dem Soll- Aufmerksamkeitszustand und dem Ist-Aufmerksamkeitszustand, insbesondere in Abhängigkeit von der Abweichung des Ist- Aufmerksamkeitszustands von dem Soll-Aufmerksamkeitszustand, betrieben werden, um durch das Generieren von ein oder mehreren Reizen zu bewirken, dass der Ist-Aufmerksamkeitszustand an den Soll-Aufmerksamkeitszustand angepasst wird.

Fig. 2 zeigt einen beispielhaften Regelkreis 200 zur Einstellung des Ist- Aufmerksamkeitszustands 202 des Fahrers in Abhängigkeit von dem jeweils erforderlichen Soll-Aufmerksamkeitszustand 201. Die Abweichung 203 des Ist- Aufmerksamkeitszustands 202 von dem Soll-Aufmerksamkeitszustand 201 kann in einer Regeleinheit 204 dazu verwendet werden, um Steuerdaten 205 zur Steuerung der ein oder mehreren Reizeinheiten 104 zu generieren. Dabei kann die Regeleinheit 204 von dem Fahrer des Fahrzeugs 100 abhängen. Insbesondere kann die Regeleinheit 204 spezifisch an den Fahrer angepasst sein und/oder spezifisch für den Fahrer angelernt worden sein. Die Regeleinheit 204 kann zu diesem Zweck auf ein Fahrer-spezifisches Profil 210 zurückgreifen.

Das Fahrer-spezifische Profil 210 kann anzeigen, durch welchen Reiztyp und/oder mit welcher Reizintensität bei dem jeweiligen Fahrer eine Änderung des Aufmerksamkeitszustands, insbesondere eine Erhöhung des Aufmerksamkeitsgrades, bewirkt werden kann. Das Fahrer-spezifische Profil 210 kann von der Regeleinheit 204 dazu verwendet werden, Fahrer-spezifische Steuerdaten 205 für den Betrieb der ein oder mehreren Reizeinheiten 104 zu ermitteln, durch die der Ist- Aufmerksamkeitszustand des Fahrers in besonders komfortabler und zuverlässiger Weise an den erforderlichen Soll- Aufmerksamkeitszustand angepasst werden kann.

Die ein oder mehreren Reizeinheiten 104 können in Abhängigkeit von den Steuerdaten 205 betrieben werden, um ein oder mehrere Reize 207 auf den Fahrer des Fahrzeugs 100 zu bewirken. Die ein oder mehreren Reize 207 zielen darauf ab, den Ist-Aufmerksamkeitszustand 202 des Fahrers zu verändern, insbesondere an den erforderlichen Soll-Aufmerksamkeitszustand 201 anzupassen. Auf Basis der Fahrerdaten 208 kann durch eine Modelleinheit 209 der aktuelle Ist- Aufmerksamkeitszustand 202 des Fahrers ermittelt werden. Die Modelleinheit 209 kann dabei ein (ggf. Fahrer-spezifisches) Modell verwenden, das unterschiedliche Indizien und/oder Zustandsgrößen, wie z.B.

• die Blickrichtung des Fahrers;

• die Blinkfrequenz der Augen des Fahrers;

• den Puls;

• den Blutdruck; und/oder

• die Position der Hände des Fahrers, dazu verwendet, den Ist- Aufmerksamkeitszustand 202, insbesondere den Ist-Grad der Aufmerksamkeit in Bezug auf den Fährbetrieb des Fahrzeugs 100, zu ermitteln.

Die Vorrichtung 101 kann eingerichtet sein, die Regel einheit 204, insbesondere das Fahrer-spezifische Profil 210 für die Regel einheit 204, in Abhängigkeit von der durch die ein oder mehreren erzeugten Reize 207 bewirkten Änderung des Ist- Aufmerksamkeitszustands 202 anzupassen und/oder anzulemen. Beispielsweise kann die zu bewirkende Intensität eines Reizes 207, die in dem Fahrerspezifischen Profil 210 für eine bestimmte Zustands-Abwei chung 203 vorgesehen ist, erhöht werden, wenn erkannt wird, dass durch den erzeugten Reiz 207 keine ausreichend starke Änderung des Ist-Aufmerksamkeitszustands 202 bewirkt wird. Alternativ oder ergänzend kann der Reiztyp des zu bewirkenden Reizes 207, der in dem Fahrer-spezifischen Profil 210 für eine bestimmte Zustands-Abweichung 203 vorgesehen ist, verändert werden, wenn erkannt wird, dass durch den erzeugten Reiz 207 (eines bestimmten Reiztyps) keine ausreichend starke Änderung des Ist-Aufmerksamkeitszustands 202 bewirkt wird.

Die Regeleinheit 204, insbesondere das Fahrer-spezifische Profil 210 für die Regeleinheit 204, kann z.B. anhand einer Maschine-Lem-Methode, insbesondere anhand von Reinforcement Learning, angelernt werden. Dabei kann die Lern- Methode darauf ausgelegt sein, das Fahrer-spezifische Profil 210 derart anzulemen, dass die Zustands- Abweichung 203 (im zeitlichen Mittel) reduziert wird. So können in besonders zuverlässiger Weise Fahrer-spezifische Reize 207 generiert werden, um den Aufmerksamkeitszustand an die jeweils vorliegenden Erfordernisse anzupassen.

Der Fahrer kann ggf. in den Lernprozess zum Anlemen der Regeleinheit 204 und/oder des Fahrer-spezifischen Profils 210 eingebunden werden. Dabei kann der Fahrer z.B. über eine Benutzerschnittstelle (des Fahrzeugs 100 oder eines elektronischen Anwendergeräts, etwa eines Smartphones) aufgefordert werden, jeweils eine Rückmeldung in Bezug auf einen von einer Reizeinheit 104 bewirkten (Test-) Reizes 207 zu geben. Beispielsweise können (Test-) Reize 207 mit unterschiedlichen Reiztypen und/oder Intensitäten bewirkt werden, und der Fahrer kann aufgef ordert werden, eine Rückmeldung dahingehend zu geben, wie stark und/oder wie aufmerksamkeitsfördernd der jeweilige (Test-) Reiz 207 wahrgenommen wurde. So können die Regeleinheit 204 und/oder das Fahrerspezifische Profil 210 in besonders effizienter und zuverlässiger Weise angelernt werden.

Wie eingangs dargelegt, kann von einer Fahrzeug-Vorrichtung 101 eine statische Abfolge von Aktionen (insbesondere Reizen 207) bewirkt werden, um die Aufmerksamkeit des Fahrers auf den Fährbetrieb zu lenken. Eine derartige statische Abfolge von Aktionen muss im Voraus vordefiniert und statisch in einem Programm-Code implementiert werden. Die Konfiguration der Parameter einer Abfolge von Aktionen, wie z. B. die Lautstärke eines Soundeffekts, die Art eines Soundeffekts, die Länge eines Soundeffekts und/oder die Kombination mit anderen Aktionen wie ein vibrierendes Lenkrad, die Farbe und/oder die Helligkeit von Display- / Interieur-Effekten usw., ist relativ aufwändig in Bezug auf die Entwicklung und in Bezug auf die Kalibrierung für eine Gefahrensituation. Des Weiteren kann es vorkommen, dass wenn die Parameter für eine Abfolge ungeeignet für einen Fahrer gewählt werden, der Fahrer in einer bestimmten Situation weniger aufmerksam als erforderlich ist, oder sich über zu intensive Warnungen ärgert und daraufhin möglicherweise das Sicherheitssystem ausschaltet. Dies kann dazu führen, dass die Akzeptanz des Fahrers für ein Fahrerassistenzsystem sinkt. Ferner kann ggf. die Verkehrssicherheit des Fahrzeugs 100 beeinträchtigt werden.

In diesem Dokument wird ein dynamisches und lernendes Aufmerksamkeitskontrollsystem beschrieben. Dabei kann ein geschlossenes Steuerungs- und/oder Regelungssystem 200 verwendet werden, das Maßnahmen bzw. Aktionen (insbesondere Reize 207), wie z.B. Geräusche, Lichter usw., reguliert, um die Aufmerksamkeit des Fahrers basierend auf der tatsächlichen Aufmerksamkeit 202 des Fahrers und basierend auf der empfohlenen Aufmerksamkeit 201 zu erhöhen oder zu verringern. So kann bewirkt werden, dass eine bevorstehende Fahrsituation sicher bewältigt wird, ohne dabei zu intensive Reize 207 auf den Fahrer zu bewirken.

Das beschriebene System ist personalisiert und kann sich im Laufe der Zeit anpassen, sodass das System für verschiedene Situationen lernt, wie die Aufmerksamkeit eines bestimmten Fahrers in möglichst effektiver Weise aktiviert wird. Dabei kann z.B. berücksichtigt werden, dass eine Person empfindlicher auf Geräusche reagiert und eine andere Person empfindlicher auf ein vibrierendes Lenkrad reagiert. Das Anlernen kann durch direktes Feedback des jeweiligen Fahrers nach einem Warnereignis und/oder durch Fahrersegmentierung mit den Big Five Faktor Persönlichkeitsmerkmalen (siehe https://www.britannica.com/science/five-factor-model-of-pers onality; der Inhalt dieses Dokumentes wird durch Bezugnahme vollständig in das vorliegende Dokument aufgenommen) bewirkt werden.

Darüber hinaus kann bewirkt werden, dass eine (relativ lang anhaltende) Abweichung 203 zwischen dem erforderlichen Grad 201 der Aufmerksamkeit und dem tatsächlichen Grad 202 der Aufmerksamkeit ein oder mehrere Parameter des Fahrzeugs 100, wie z.B. den Bremsdruck, die Gurtstraffung, eine Lenkkonfiguration, etc., verändert, insbesondere um bei einem Brems- und Lenkmanövern schneller reagieren zu können.

Es wird somit ein Fahrzeug 100 beschrieben, das mit Sensoren 102 ausgestattet ist, die in der Lage sind, die Umgebung des Fahrzeugs 100 wahrzunehmen. Das Fahrzeug 100 kann sich z.B. in der Automatisierungsstufe SAE-Level 3 befinden, was bedeutet, dass der Fahrer seine Aufmerksamkeit auf persönliche Aktivitäten wie das Überprüfen seines Smartphones konzentrieren kann. Vor dem Fahrzeug 100 wird in relativ großer Entfernung anhand der Sensoren 102 ein Objekt auf der Fahrspur des Fahrzeugs 100 erkannt. Dieses Objekt kann ggf. noch nicht vollständig klassifiziert werden und ist noch relativ weit weg. Anhand einer internen Datenbank kann der Aufmerksamkeitsbedarf, d.h. der Soll- Aufmerksamkeitszustand, des Fahrers für den Umgang mit einer solchen Situation geschätzt werden. Der Aufmerksamkeitsbedarf wird in diesem Fall als gering eingestuft, da das Unfallrisiko noch gering ist.

Die Fahrerkamera 105 und ein oder mehrere andere Sensoren 105 überwachen den Fahrer, und es wird erkannt, dass die Aufmerksamkeit des Fahrers für den Straßenverkehr sehr gering ist. Der Unterschied zu dem Aufmerksamkeitsbedarf wird durch die geschlossene Steuereinheit 200 erkannt, die darauf abzielt, die erforderliche und tatsächliche Aufmerksamkeit in Einklang zu bringen. In einer personalisierten Datenbank 210 mit effektiven Aktivierungsmaßnahmen für diesen spezifischen Fahrer wählt das System 200 eine Kombination von Maßnahmen (insbesondere Reizen 207) aus. Dies kann eine Änderung des Innenlichts auf Orange und/oder eine Benachrichtigung auf dem Bildschirm der Head Unit des Fahrzeugs 100 sein.

Es kann ggf. erkannt werden, dass der Fahrer nicht auf die Reize 207 reagiert. Nach einer gewissen Zeit rückt das Objekt näher und das Niveau der benötigten Aufmerksamkeit steigt an. Aus dem erfolglosen Versuch, den Fahrer mit Licht und/oder mit einer Benachrichtigung zu aktivieren, hat das System 200, 101 gelernt. Es fügt daher z.B. einen Soundeffekt hinzu. Ferner können aufgrund der Abweichung 203 zwischen der benötigten Aufmerksamkeit und der tatsächlichen Aufmerksamkeit der Bremsdruck und die Lenkkalibrierung angepasst werden, um ein schnelleres Manöver zu ermöglichen.

Es wird erkannt, dass der Fahrer nach oben schaut und das Objekt auf der Straße bemerkt. Die Fahrerkamera 205 kann dabei die Blickrichtung des Fahrers und seine wachen Augen erkennen. Da das benötigte Aufmerksamkeitsniveau nun ähnlich der tatsächlichen Aufmerksamkeit ist, können die Alarmierungsmaßnahmen reduziert werden. So kann bewirkt werden, dass der Fahrer nicht mehr durch die Maßnahmen abgelenkt wird. Ferner hat das Fahrzeug 100 gelernt, dass durch ein zusätzliches Tonsignal die Aufmerksamkeit des bestimmten Fahrers effektiv erhöht wird.

Fig. 3 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 300 zur Anpassung des Aufmerksamkeitszustands (insbesondere des Aufmerksamkeitsgrads) eines Fahrers eines Fahrzeugs 100 bezüglich des Fährbetriebs des Fahrzeugs 100.

Das Verfahren 300 umfasst das Bestimmen 301, dass der Ist- Aufmerksamkeitszustand des Fahrers (der z.B. auf Basis von Fahrerdaten von ein oder mehreren Fahr er sen soren 105 ermittelt wird) von dem Soll- Aufmerksamkeitszustand (der z.B. auf Basis von Umfelddaten von ein oder mehreren Umfeldsensoren 102 ermittelt wird) abweicht.

Des Weiteren umfasst das Verfahren 300 das Ermitteln 302, anhand eines Fahrerspezifischen Profils 210, von ein oder mehreren Reizen 207, die darauf ausgerichtet sind, den Ist- Aufmerksamkeitszustand des Fahrers an den Soll- Aufmerksamkeitszustand anzunähern. Dabei können der Typ und/oder die Intensität der ein oder mehreren Reize 207 ermittelt werden. Das Fahrerspezifische Profil 210 kann für unterschiedliche Zustands-Abweichungen 203 zwischen Ist- Aufmerksamkeitszustand und Soll -Aufmerksamkeitszustand jeweils eine (Fahrer-spezifische) Kombination von ein oder mehreren Reizen 207 (jeweils Typ und/oder Intensität) anzeigen. Es kann dabei im Vorfeld (im Rahmen eines Lernprozesses) ermittelt worden sein, dass die einzelnen Kombinationen von ein oder mehreren Reizen 207 eine besonders effektive Änderung des Ist- Aufmerksamkeitszustands des Fahrers bewirkt haben.

Das Verfahren 300 umfasst ferner das Generieren 303 der ein oder mehreren ermittelten Reize 207.

Durch die in diesem Dokument beschriebenen Maßnahmen kann der Aufmerksamkeitszustand eines Fahrers eines Fahrzeugs 100 in besonders komfortabler und zuverlässiger Weise an die jeweils vorliegenden Erfordernisse angepasst werden. So können der Komfort und die Verkehrssicherheit eines Fahrzeugs 100 erhöht werden.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.