Prozesse und der Prozessumgebung

Die vorliegende Erfindung betrifft ein System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung. Das System kann zur Überwachung der von mehreren Maschinen ausgeführten Prozesse und der Prozessumgebung der Maschinen genutzt werden. Die wenigstens eine Maschine kann auf Baustellen und/oder im Bergbau eingesetzt werden. Die vorliegende Erfin dung betrifft ferner eine Sensoranordnung für ein derartiges System.

Auf Baustellen und/oder im Bergbau einsetzbare Maschinen können beispielsweise Maschinen wie Bagger, Radlader, LKWs und Kipper bzw. Dumper sein. Diese Ma schinen können an verschiedenen Stellen der Baustelle oder dem Bergbaubetrieb verschiedene Prozesse ausführen. Baustellen und insbesondere Bergbaubetriebe können relativ groß sein und/oder sich an entlegenen Orten befinden. Dadurch kann die Überwachung der von den Maschinen ausgeführten Prozesse und der Pro zessumgebung erschwert und, wenn überhaupt, nur mit relativ großem Aufwand durchgeführt werden.

Es ist eine Aufgabe der vorliegenden Erfindung, ein System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung bereitzustellen, das unabhängig vom Einsatzort der wenigstens einen Maschine eine Überwachung der von der wenigstens einen Maschine ausgeführten Prozesse und der Prozessumgebung ermöglicht.

Diese Aufgabe wird durch ein System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung mit den Merkmalen des Anspruchs 1 gelöst.

Weitere Ausführungsformen sind in den abhängigen Ansprüchen angegeben.

Das erfindungsgemäße System zur Überwachung der von wenigstens einer Maschi ne ausgeführten Prozesse und der Prozessumgebung umfasst wenigstens eine Sen soreinheit, wobei die wenigstens eine Sensoreinheit dazu ausgebildet ist, Informationen bezüglich der wenigstens einen Maschine zu ermitteln, wobei die von der wenigstens einen Sensoreinheit ermittelten Informationen zumindest eine Infor mation aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine, wenigstens einen Geschwindigkeitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung.

Das System umfasst weiter wenigstens eine Kamera, die Bilddaten erzeugt. Die Bild daten enthalten zumindest einen Abschnitt der wenigstens eine Maschine und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine.

Das System weist ferner wenigstens eine Auswerteinheit auf. Die wenigstens eine Auswerteeinheit ist dazu ausgebildet ist, die von der wenigstens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bild daten zur Überwachung der von der wenigstens einen Maschine ausgeführten Pro zesse und der Prozessumgebung zusammenzuführen.

Mit dem erfindungsgemäßen System können die von der wenigstens einen Maschine ausgeführten Prozesse und die Prozessumgebung selbst an entlegensten Einsatzor ten im Wesentlichen lückenlos in Echtzeit oder zumindest echtzeitnah überwacht und analysiert werden. Hierzu werden die von der wenigstens einen Sensoreinheit ermit telten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten von der wenigstens einen Auswerteeinheit unabhängig vom Einsatzort der wenigs tens einen Maschine zusammengeführt werden, um die von der wenigstens einen Maschine ausgeführten Prozesse und die Prozessumgebung analysieren zu können. Die Überwachung der von der wenigstens einen Maschine ausgeführten Prozesse kann zeitlich synchronisiert mit der Überwachung der Prozesse weiterer Maschinen erfolgen.

Unter Prozessumgebung kann in diesem Zusammenhang die Umgebung oder zu mindest ein Ausschnitt der Umgebung verstanden werden, in der die wenigstens eine Maschine die ihr zugeordneten Prozesse ausführt.

Die wenigstens eine Maschine kann eine auf einer Baustelle oder im Bergbau er setzbare Maschine sein. Die wenigstens eine Maschine kann ihre Position verändern und/oder mit wenigstens einem Abschnitt Bewegungen ausführen. Es kann sich dementsprechend bei den Maschinen auch um Fahrzeuge handeln.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die von der wenigs tens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten zusammenzuführen, um ein Prozessprofil der wenigs tens einen Maschine zu ermitteln. Durch die Zusammenführung der von der Sen- soreinheit ermittelten Informationen und der Bilddaten kann ein ganzheitliches Pro zessprofil der Maschine erzeugt werden. Es kann beispielsweise für das Prozessprofil ermittelt werden, an welcher Position die Maschine welchen Prozess ausgeführt hat und ob die Ausführung der Prozesse durch den Zustand der Prozessumgebung oder durch Begegnungen oder Interaktionen mit weiteren Maschinen beeinflusst wurde. Durch die Zusammenführung der Bilddaten der wenigstens einen Kamera und den Informationen der wenigstens einen Sensoreinheit kann beispielsweise ein von der Maschine ausgeführter Prozess, das von der Maschine bearbeitete/transportierte Material und/oder der Zustand der Prozessumgebung analysiert werden.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, in den von der wenigstens einen Kamera aufgenommenen Bilddaten Objekte zu erkennen und von einander zu unterscheiden. Die Auswerteeinheit kann ferner dazu ausgebildet sein, Personen in den von der wenigstens einen Kamera erzeugten Bilddaten zu erkennen. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die erkannten Per sonen zu verschleiern und/oder auf andere Art und Weise unkenntlich zu machen. Dementsprechend können mit dem System die Vorgaben der Datenschutz- Grundverordnung (DSGVO) erfüllt werden.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, in den von der wenigstens einen Kamera ermittelten Bilddaten Maschinen zu erkennen. Die wenigs tens eine Auswerteeinheit kann die in den Bilddaten ermittelten Maschinen verschie denen Maschinentypen zuordnen. Die wenigstens eine Auswerteeinheit kann somit beispielsweise Bagger, Radlader, LKWs und Kipper bzw. Dumper voneinander unter scheiden.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die von der wenigs tens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten zusammenzuführen, um Informationen über die Pro zessumgebung der wenigstens einen Maschine zu ermitteln. Anhand der von der wenigstens einen Sensoreinheit ermittelten Informationen und den von der Kamera erzeugten Bilddaten kann ein Zustandsmodell der Prozessumgebung der Maschine ermittelt werden. Basierend auf dem ermittelten Zustandsmodell der Prozessumge bung können die Auswirkungen des Zustands der Prozessumgebung, wie z.B. der Zustand des Untergrunds oder des Fahrwegs, auf die von der wenigstens einen Ma schine ausgeführten Prozesse und die Prozessleistung ermittelt werden. So kann die wenigstens eine Auswerteeinheit beispielsweise basierend auf den von der wenigs tens einen Sensoreinheit ermittelten Informationen für bestimmte Bereiche der Fahr- strecke erhöhte Beschleunigungswerte ermitteln. In den von der wenigstens einen Kamera erzeugten Bilddaten kann der Auslöser oder Verursacher der erhöhten Be schleunigungswerte von der wenigstens einen Auswerteeinheit ermittelt werden. Auf diese Weise können beispielsweise Schlaglöcher in der Fahrstrecke der wenigstens einen Maschine ermittelt werden, die die erhöhten Beschleunigungswerte verursacht haben. Die wenigstens eine Auswerteeinheit kann zudem die aus den Schlaglöchern resultierenden Auswirkungen auf die Prozessleistung der Maschine, wie zum Beispiel auf die Prozessgeschwindigkeit der Maschine, ermitteln. Ausgehend von den ermit telten Informationen über die Prozessumgebung der wenigstens einen Maschine können der Maschine alternative Fahrstrecken vorgegeben, die Ausrüstung der Ma schine dem Zustand der Prozessumgebung angepasst oder die Instandsetzung einer Fahrstrecke veranlasst werden.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, basierend auf den von der wenigstens einen Sensoreinheit ermittelten Informationen und den von der wenigstens einen Kamera erzeugten Bilddaten zumindest die Art und/oder wenigs tens eine Eigenschaft des von der wenigstens einen Maschine bearbeiteten oder verarbeiteten Materials zu ermitteln. Bei dem von der wenigstens einen Maschine bearbeiteten oder verarbeiteten Material kann es sich beispielsweise um Gestein, Baurohstoffe oder Erdaushub handeln. Dementsprechend kann die wenigstens eine Auswerteeinheit dazu ausgebildet sein, eine Analyse des Materials auf Basis der von der wenigstens einen Sensoreinheit ermittelten Informationen und der von der we nigstens einen Kamera erzeugten Bilddaten vorzunehmen. Eigenschaften des Materi als können beispielsweise die Partikel große, die Bodenklasse, oder die Flomogenitätsbereiche der Böden sein. Mit anderen Worten kann die Analyse des Materials auf den mit den Bilddaten der Kamera zusammengeführten Informationen der Sensoreinheit basieren. Beispielsweise können die von der wenigstens einen Sensoreinheit ermittelten Beschleunigungswerte dem in den Bilddaten der Kamera enthaltenen Gestein und/oder der Größe der Gesteinspartikel zugeordnet werden. Auf Basis der auf diese Weise erhaltenen Informationen kann beispielsweise im Bergbau bestimmt werden, dass die Sprengparameter verändert werden müssen, um kleinere bzw. feinere Gesteinspartikel zu erhalten.

Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera zu steuern. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera basierend auf wenigstens einer von der wenigstens einen Sensoreinheit ermittelten Information zu steuern. Die wenigstens eine Sen soreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera auf Basis eines von der Sensoreinheit erfassten Ereignisses zu steuern. Dadurch kann die Größe und Menge der Informationspakte oder Bilddatenpakete, die an die Auswerteeinheit übermittelt werden können, reduziert werden. Es können beispielsweise die Bildwie derholungsrate, die Bildqualität oder die Bildauflösung reduziert werden. Ein derarti ges Ereignis kann durch die von der Sensoreinheit erfassten Informationen angezeigt werden. Ein derartiges Ereignis kann beispielsweise ein einen Grenzwert überstei gender Beschleunigungswert oder eine ermittelte Begegnung mit einer weiteren Maschine sein. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera in Abhängigkeit der von der wenigstens einen Sensoreinheit erfassten Informationen bzw. in Abhängigkeit eines Ereignisses anzuweisen, Bildda ten für ein Bild oder eine Bildsequenz zu erzeugen. Die wenigstens eine Auswer teeinheit kann dazu ausgebildet sein, ein Bild oder eine Bildsequenz der von der wenigstens einen Kamera erzeugten Bilddaten wenigstens einer von der wenigstens einen Sensoreinheit ermittelten Information zuzuordnen. Die wenigstens eine Kamera kann eine Stereokamera sein.

Die Steuerung der wenigstens einen Kamera kann maschinenspezifisch oder ma schinentypspezifisch erfolgen. Es können für die Steuerung der Kamera unterschied liche, für den jeweiligen Maschinentyp spezifische Informationen verwendet werden, die von der wenigstens einen Sensoreinheit ermittelt werden können. Die von der wenigstens einen Sensoreinheit zur Steuerung der wenigstens einen Kamera heran gezogenen Informationen können sich beispielsweise für einen Bagger oder einen Kipplader unterscheiden.

Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera in Abhängigkeit von wenigstens einer von der Sensoreinheit ermittelten Information zu aktivieren oder zu deaktivieren. Zeigt beispielsweise eine von der Sensoreinheit ermittelte Information einen bestimmten Prozess an, kann die Sen soreinheit die wenigstens eine Kamera aktivieren oder deaktivieren. Wird beispiels weise aufgrund wenigstens einer von der Sensoreinheit ermittelten Information festgestellt, dass ein Kipplader den Standort eines Baggers erreicht hat und ein La devorgang stattfinden soll, kann die Kamera des Baggers aktiviert werden.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, in den von der wenigstens einen Sensoreinheit ermittelten Informationen Informationsmuster zu ermitteln. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die von der wenigstens einen Kamera erzeugten Bilddaten einem oder mehreren ermittelten Informationsmustern zuzuordnen. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, anhand der ermittelten Informationsmuster einen von der Maschine ausgeführten Prozess zu ermitteln. Eine Maschine kann bei einem bestimmten Pro zess ein bestimmtes Verhalten aufweisen. Dieses Verhalten kann sich in den von der wenigstens einen Sensoreinheit ermittelten Informationen widerspiegeln. Die wenigs tens eine Auswerteeinheit kann die von der wenigstens einen Sensoreinheit ermittel ten Informationen auf bestimmte Informationsmuster hin analysieren.

Die wenigstens eine Kamera kann die von ihr erzeugten Bilddaten an die wenigstens eine Sensoreinheit übermitteln. Die wenigstens eine Sensoreinheit kann die von ihr ermittelten Informationen und die Bilddaten der Kamera an die wenigstens eine Aus werteeinheit übermitteln oder der wenigstens einen Auswerteeinheit zum Abruf be reitstellen. Die wenigstens eine Kamera kann dazu ausgebildet sein, die von ihr ermittelten Bilddaten an die wenigstens eine Auswerteeinheit zu übermitteln.

Die wenigstens eine Sensoreinheit kann kabellos mit der wenigstens einen Auswert einheit mittelbar oder unmittelbar kommunizieren. Die wenigstens eine Sensoreinheit kann beispielsweise über Funknetze und/oder Mobilfunknetze mit der wenigstens einen Auswerteinheit kommunizieren. Die wenigstens eine Sensoreinheit kann jedoch auch über andere kabellose Kommunikationsprotokolle bzw. Kommunikationsverfah ren mit der wenigstens einen Auswerteinheit kommunizieren. Gleiches gilt auch für die wenigstens eine Kamera, die kabellos mit der wenigstens einen Auswerteeinheit mittelbar oder unmittelbar kommunizieren kann. Auch die Kommunikation zwischen der wenigstens einen Kamera und der wenigstens einen Auswerteeinheit kann über Funknetze und/oder Mobilfunknetze erfolgen.

Die Positionsinformationen der wenigstens einen Maschine können die Geo-Position der Maschine sein. Die Positionsinformationen können mit einem GNSS-Empfänger ermittelt werden. Die wenigstens eine Sensoreinheit kann ferner zur Ermittlung der Positionsinformationen mit Funkzellen kommunizieren. Die Positionsinformationen können auch über Wifi-Beacons, Wifi-Triangulation, Wifi-T rilateration, Bluetooth ^® - Beacons, Bluetooth ^® -Triangulation, Bluetooth ^® -Trilateration und über Ultra-Wide- Band (UWB) ermittelt werden. Ferner können die Positionsinformationen auch über weitere Funkstandards ermittelt werden.

Die wenigstens eine Sensoreinheit kann an einer Maschine angeordnet sein. Die wenigstens eine Kamera kann an einer Maschine angeordnet sein. Die wenigstens eine Sensoreinheit und die wenigstens eine Kamera können an der selben Maschine angebracht sein. Die wenigstens eine Kamera kann über Kabel oder kabellos mit der wenigstens einen Sensoreinheit kommunizieren.

Die wenigstens eine Kamera kann stationär an einem vorgegebenen Standort ange ordnet sein. Gleiches gilt für die wenigstens eine Sensoreinheit, die ebenfalls statio när an einem vorgegebenen Standort angeordnet sein kann. Die wenigstens eine Kamera und die wenigstens eine Sensoreinheit können stationär an dem selben Standort angeordnet sein. Die wenigstens eine Kamera und die wenigstens eine Sensoreinheit können beispielsweise an einem Masten angeordnet sein. Von diesem Standort aus kann die wenigstens eine Kamera Bilddaten bezüglich wenigstens einer Maschine und/oder der Prozessumgebung erzeugen.

Die wenigstens eine Auswerteinheit kann eine Einheit mit künstlicher Intelligenz sein. Die Einheit mit künstlicher Intelligenz (Kl) kann Kl-Methoden in Form von maschinel lem Lernen (Machine-Learning) oder neuronalen Netzen ausführen. Diese Kl- Methoden werden basierend auf einer Datenbasis, d.h. basierend auf Trainingsdaten, trainiert, die Eingangsinformationen und das vorgegebene Ergebnis umfassen. Neu ronale Netze und weitere Kl-Methoden können abstrahierende oder verallgemeinern de Eigenschaften haben, d.h. sie können auch bis zu einem gewissen Grad für unbekannte Situationen ein plausibles Ergebnis ausgeben. Die von der wenigstens einen Sensoreinheit ermittelten Information und die von der wenigstens einen Kame ra erzeugten Bilddaten können mit Hilfe von Sensorfusions-Algorithmen oder künstli cher Intelligenz zusammengeführt und ausgewertet werden.

Der wenigstens eine Beschleunigungswert in wenigstens einer Richtung kann bei einer Bewegung der Maschine oder bei einer Bewegung wenigstens eines Abschnitts der Maschine ermittelt werden. Beispielsweise bei einem Hydraulikbagger wird der bewegbare Abschnitt vom Oberwagen des Hydraulikbaggers gebildet. Bei einem Bagger kann der wenigstens eine Beschleunigungswert beispielsweise bei einer Betätigung der Schaufel des Baggers ermittelt werden. Die wenigstens eine Sen soreinheit kann dazu ausgebildet sein, Beschleunigungswerte in zumindest drei Rich tungen, d.h. in x-, y-, z-Richtung zu ermitteln. Die von der wenigstens einen Sensoreinheit ermittelbaren Informationen können zumindest wenigstens einen Ge schwindigkeitswert umfassen. Die von der wenigstens einen Sensoreinheit ermittel baren Informationen können die Orientierung und/oder Lage der Maschine oder die Orientierung und/oder Lage zumindest eines Abschnitts der Maschine umfassen. Bei einem Hydraulikbagger stellt beispielsweise der um 360° drehbare Oberwagen einen Abschnitt der Maschine dar, der seine Orientierung und/oder Lage unabhängig von den Rädern oder Ketten ändern kann. Ferner können die von der wenigstens einen Sensoreinheit ermittelbaren Informationen über die Prozessumgebung der Maschine umfassen. Diese Informationen über die Prozessumgebung können beispielsweise der Luftdruck und die Temperatur sein. Informationen über die Prozessumgebung können auch mit einem Magnetometer ermittelt werden. Dadurch kann die Kompass richtung ermittelt werden. Insbesondere kann es sich um ein 3-Achs-Magnetometer handeln.

Das System kann mehrere Sensoreinheiten und/oder mehrere Kameras umfassen, die an mehreren Maschinen angeordnet sein können. Zumindest einige der Sen soreinheiten und/oder einige der Kameras können an einer Maschine angeordnet sein.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, zwei oder mehrere interagierende Maschinen anhand der von den mehreren Sensoreinheiten ermittelten Informationen und/oder anhand der von der wenigstens einen Kamera erzeugten Bilddaten zu ermitteln. Die wenigstens eine Auswerteeinheit kann somit auch Infor mationsmuster und/oder über die Bilddaten erfassen, wenn zwei Maschinen Zusam menarbeiten bzw. interagieren. Interagierende oder kooperierende Maschinen können bestimmte Informationsmuster erzeugen, die von der wenigstens eine Aus werteeinheit ermittelt werden können. Diese ermittelten Informationsmuster können beispielsweise als Ereignis klassifiziert werden, das eine Aktivierung der wenigstens einen Kamera nach sich zieht.

Das System kann die wenigstens eine Maschine unabhängig von internen Maschi nenparametern der wenigstens einen Maschine zu überwachen. Mit anderen Worten kann das System die wenigstens eine Maschine ohne interne Maschinenparameter, wie zum Beispiel Motorkennwerte oder Hydraulikdruckwerte überwachen. Dement sprechend kann das System die wenigstens eine Maschine ohne Zugriff auf die inter nen Maschinenparameter oder internen Maschinendaten überwachen, die von einem CAN-Bus oder einer ähnlichen Einrichtung der Maschine übertragen werden. Das System kann dadurch mit verschiedensten Maschinen und auch mit Maschinen ver schiedener Hersteller verwendet werden, da das System unabhängig von den inter nen Maschinenparametern und dem jeweiligen Hersteller der Maschine die von der Maschine ausgeführten Prozesse und die Prozessumgebung überwachen kann. Eine Verbindung der wenigstens einen an der Maschine anbringbaren Sensoreinheit mit der Steuerung der Maschine ist in diesem Fall für die Funktion des Systems nicht notwendig. Alternativ kann die Sensoreinheit auch eine Schnittstelle aufweisen, die zur Kommu nikation mit der Steuerung einer Maschine ausgebildet sein kann. Dadurch kann das System auf interne Maschinenparameter oder interne Maschinendaten als zusätzliche Informationsquelle zurückgreifen. Beispielsweise kann die wenigstens eine Sen soreinheit dazu ausgebildet sein, Informationen von dem CAN-Bus oder einer ähnli chen Einrichtung einer Maschine zu erhalten.

Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die Informationen bezüglich der wenigstens einen Maschine kontinuierlich oder intermittierend zu er mitteln. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die ermittel ten Informationen in Form von bestimmten zeitlichen Abständen an die Auswerteinheit zu senden. Die ermittelten Informationen können beispielsweise in Echtzeit oder nahezu in Echtzeit gesendet oder zum Abruf bereitgestellt werden. Die wenigstens eine Sensoreinheit kann auch zum Speichern der ermittelten Informatio nen ausgebildet sein. Falls die wenigstens eine Sensoreinheit keine Verbindung zu der wenigstens einen Auswerteinheit hersteilen kann oder umgekehrt, kann die we nigstens eine Sensoreinheit die Informationen zu einem späteren Zeitpunkt senden, an dem eine Verbindung mit der wenigstens einen Auswerteinheit hergestellt werden kann. Alternativ kann die wenigstens eine Auswerteeinheit eine Verbindung zu der wenigstens einen Sensoreinheit hersteilen und die Informationen von der wenigstens einen Sensoreinheit abrufen.

Die wenigstens eine Auswerteeinheit kann eine räumlich von der wenigstens einen Sensoreinheit getrennte Einheit sein. Die wenigstens eine Sensoreinheit und die wenigstens eine Auswerteeinheit können dazu ausgebildet sind, kabellos miteinander zu kommunizieren. Die wenigstens eine Auswerteeinheit kann beispielsweise ein Server sein, der sich an einem anderen Ort als die wenigstens eine Sensoreinheit befindet. Die Sensoreinheit kann die von ihr ermittelten Informationen an die wenigs tens eine Auswerteeinheit übermitteln oder für die wenigstens eine Auswerteeinheit zum Abruf bereitstellen.

Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, anhand zumindest der von der wenigstens einen Kamera erzeugten Bilddaten den Zustand zumindest eines Abschnitts der Maschine zu ermitteln. Beispielsweise können Schäden an der Schaufel eines Baggers auf diese Weise festgestellt werden. Mit den von der Kamera ermittelten Bilddaten können Schäden an der Maschine festgestellt werden, sodass eine Wartung bzw. Instandsetzung der Maschine veranlasst und terminiert werden kann. Auf Basis des ermittelten Zustands der Maschine kann der Wartungsbedarf der Maschine vorrausschauend bestimmt werden, d. h. es kann bestimmt werden, ob und wann eine Wartung der Maschine notwendig ist. Auf Basis des ermittelten Zustands der Maschine können dementsprechend die Wartungsintervalle der Maschine ange passt werden.

Die vorliegende Erfindung betrifft ferner eine Sensoranordnung für ein System zur Überwachung wenigstens einer Maschine und deren Prozessumgebung. Die Senso ranordnung umfasst wenigstens eine Kamera und wenigstens eine Sensoreinheit. Die wenigstens eine Sensoreinheit weist wenigstens eine Einrichtung zur Erfassung von Positionsinformationen, wenigstens einen weiteren Sensor zur Erfassung von Infor mationen bezüglich der Maschine und wenigstens ein Steuerungsmodul aufweist, das zumindest zur Steuerung der wenigstens einen Kamera ausgebildet ist.

Die Sensoranordnung kann an einer Maschine angeordnet sein. Die wenigstens eine Sensoranordnung kann in dem voranstehend beschriebenen System eingesetzt werden. Die wenigstens eine Kamera und die wenigstens eine Sensoreinheit können miteinander kommunizieren. Die wenigstens eine Sensoreinheit kann kabellos oder über Kabel mit der wenigstens einen Kamera kommunizieren. Die Sensoreinheit kann dazu ausgebildet sein, die von der wenigstens einen Kamera erzeugten Bilddaten zu empfangen. Die Sensoreinheit kann die von ihr ermittelten Informationen und/oder die von der Kamera empfangenen Bilddaten an die Auswerteeinheit senden oder dieser zum Abruf bereitstellen. Die Sensoreinheit kann die von ihr ermittelten Infor mationen und/oder die von der Kamera empfangenen Bilddaten als Rohdaten an die wenigstens eine Auswerteinheit senden oder dieser zum Abruf bereitstellen.

Neben der Steuerung der wenigstens einen Kamera kann das wenigstens eine Steu erungsmodul der Sensoreinheit auch zur Steuerung der wenigstens einen Einrich tung zur Erfassung der Positionsinformationen und des wenigstens einen weiteren Sensors ausgebildet sein. Das Steuerungsmodul kann wenigstens einen Prozessor (CPU) aufweisen.

Das wenigstens eine Steuerungsmodul kann dazu ausgebildet sein, die wenigstens eine Kamera zumindest anhand der Positionsinformationen und/oder der weiteren Informationen zu steuern. Die wenigstens eine Kamera kann dazu ausgebildet sein, dass die wenigstens eine Kamera von der wenigstens einen Auswerteeinheit steuer bar ist. Das wenigstens eine Steuerungsmodul kann dazu ausgebildet sein, die Positionsin formation und/oder die weiteren Informationen zumindest teilweise zu analysieren. Ferner kann das wenigstens eine Steuerungsmodul dazu ausgebildet sein, die von der wenigstens einen Kamera erzeugten Bilddaten zumindest teilweise zu analysie ren. Die von dem Steuerungsmodul analysierten Informationen und/oder Bilddaten können zum Abruf bereitgestellt und/oder an die wenigstens eine Auswerteeinheit gesendet werden. Neben den von der Steuerungseinheit analysierten Informationen können weitere von der Sensoreinheit ermittelte Informationen und/oder die Bildda ten als Rohdaten zum Abruf bereitgestellt und/oder an die wenigstens eine Auswer teeinheit werden. Das wenigstens eine Steuerungsmodul kann die ermittelten Informationen voranalysieren und nur das Analyseergebnis übermitteln, wodurch große Informationspakte nicht oder nur zum Teil übermittelt werden müssen. Das wenigstens eine Steuerungsmodul kann eine Einheit mit künstlicher Intelligenz auf weisen.

Die Sensoranordnung kann an verschiedenen Maschinen angeordnet werden. Die Sensoranordnung kann mit Maschinen verschiedener Hersteller verwendet werden. Die Sensoranordnung muss somit nicht ab Werk in die Maschine eingebaut werden, sondern kann problemlos nachgerüstet werden. Die Sensoranordnung ist sehr schnell zu installieren, da sie lediglich in oder an der Maschine angeordnet werden muss.

Die Einrichtung zur Positionserfassung der Sensoreinheit kann dazu ausgebildet sein, Positionsinformationen über GNSS, Wifi, Bluetooth ^® , Ultra-Wide-Band (UWB), (Mobil- )Funkzellen oder über weitere Funkstandards zu ermitteln.

Die wenigstens eine Sensoreinheit kann wenigstens ein Kommunikationsmodul auf weisen-. Das Kommunikationsmodul kann zur Kommunikation mit der wenigstens einen Kamera ausgebildet sein. Das wenigstens eine Kommunikationsmodul kann zur kabellosen Kommunikation mit der wenigstens einen Auswerteeinheit ausgebildet sein.

Die wenigstens eine Sensoreinheit kann wenigstens einen der nachfolgend aufge führten Sensoren umfassen: Gyroskop, Beschleunigungssensor, Magnetometer, Barometer, Feuchtigkeitssensor, Temperatursensor, Mikrofon, Umgebungs lichtsensoren, Annäherungssensor, Ultraschallsensoren, Time-of-Flight-Sensoren. Mit diesen Sensoren können Informationen bezüglich der wenigstens einen Maschine von der wenigstens einen Sensoreinheit ermittelt werden. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, bei gewissen Ereig nissen, die Maschine betreffend oder unabhängig von der Maschine, beispielsweise beim Starten der Maschine, an der sie angeordnet ist, „aufzuwachen“ und bei weite ren Ereignissen, beispielsweise beim Ausschalten der Maschine, in den Ruhezustand überzugehen. Das „Aufwachen“ und das Überführen in den Ruhezustand der Sen soreinheit kann beispielsweise durch den Beschleunigungssensor und/oder das Gy roskop und/oder die Stromversorgung durch die Maschine initiiert werden. Auf diese Weise ist die Sensoreinheit nur aktiv, wenn sich die Maschine in Betrieb befindet. Dadurch kann Energie eingespart werden. Genauso kann die Sensoreinheit durch eine interne Uhr in regelmäßigen oder spezifizierbaren Intervallen aufwachen oder in den Ruhezustand überführt werden. Ferner kann die wenigstens eine Sensoreinheit durch Befehle oder Kommandos aufwachen und in den Ruhezustand versetzt wer den. Derartige Befehle oder Kommandos können beispielsweise per SMS an die wenigstens eine Sensoreinheit übermittelt werden.

Die Sensoreinheit kann eine Energiespeichereinheit wie z.B. einen Akku oder eine Batterie aufweisen oder mit einem Stromkreis der Maschine, an der sie angeordnet ist, verbindbar sein. Die wenigstens eine Sensoreinheit kann beispielsweise mit dem Zigarettenanzünder der Maschine verbindbar sein. Dadurch ist die wenigstens eine Sensoreinheit sehr schnell in oder an der Maschine zu installieren. Alternativ kann die wenigstens eine Sensoreinheit eine Energiegewinnungseinheit aufweisen oder mit einer Energiegewinnungseinheit koppelbar sein. Eine Energiegewinnungseinheit kann von Solarzellen oder einer ähnlichen Einrichtung gebildet werden.

Die wenigstens eine Sensoreinheit kann eine Kapselung aufweisen. Die wenigstens eine Kamera kann eine Kapselung aufweisen. Die wenigstens eine Kapselung kann in Form wenigstens eines Gehäuses ausgebildet sein, in dem die Kamera aufgenom men werden kann. Die Kamera kann durch die Kapselung beispielsweise vor Stein schlägen, Schutz und Flüssigkeiten geschützt werden. Dies gilt insbesondere dann, wenn die Kamera außen an der Maschine angebracht ist. Die Sensoreinheit und die Kamera kann mit der Kapselung wasserdicht und/oder staubdicht ausgebildet sein.

Die wenigstens eine Sensoreinheit und/oder die wenigstens eine Kamera können an der Maschine angebracht werden. Die wenigstens eine Sensoreinheit und/oder die wenigstens eine Kamera können über wenigstens eine Flalterung oder eine ähnliche Einrichtung an der Maschine angebracht werden. Die vorliegende Erfindung betrifft ferner ein Verfahren zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung, wobei das Verfahren die folgenden Schritte umfasst:

Ermitteln von Informationen bezüglich der wenigstens einen Maschine, wobei die ermittelten Informationen zumindest eine Information aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine, wenigstens einen Geschwindig keitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung,

Erzeugen von Bilddaten, die zumindest einen Abschnitt der wenigstens einen Maschine und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine enthalten, und

Zusammenführen der bezüglich der wenigstens einen Maschine ermittelten Informationen und der Bilddaten zur Überwachung zumindest der von der wenigstens einen Maschine ausgeführten Prozesse und der Prozessumgebung.

Im Folgenden wird ein Ausführungsbeispiel der Erfindung mit Bezug auf die beigefüg ten Figuren beschrieben. Es stellen dar: eine schematische Ansicht eines Systems zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung; und eine schematische Ansicht einer Sensoranordnung.

Figur 1 zeigt eine schematische Ansicht eines Systems 100 zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung. Das System 100 gemäß diesem Ausführungsbeispiel weist vier Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ und eine Auswerteeinheit 12 auf. Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ können kabellos mit der Auswerteeinheit 12 kommunizieren. Die kabellose Kommuni kation zwischen den Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ und der Auswerteeinheit 12 ist in Figur 1 durch die Pfeile Pi, P ₂ , P ₃ und P ₄ dargestellt. Beispielsweise kann die Kom munikation zwischen den Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ und der Auswerteeinheit 12 über Funknetze und insbesondere Mobilfunknetze erfolgen. Es sind jedoch auch andere Kommunikationsprotokolle bzw. Kommunikationsverfahren, wie z.B. Wifi oder Bluetooth®, denkbar, die eine kabellose Kommunikation ermöglichen. Ferner können die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ auch untereinander kabellos kommunizieren.

Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ können identisch aufgebaut sein. Die Auswerteeinheit 12 kann beispielsweise ein Server sein. Die Auswerteeinheit 12 kann im näheren Umfeld der Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ angeordnet sein. Die Auswerteeinheit 12 kann sich jedoch auch an einem anderen Ort als die Sensorein heiten 10i, 10 ₂ , 10 ₃ , 10 ₄ befinden. Beispielsweise kann die Auswerteeinheit 12 in einem zentralen Rechenzentrum bzw. Serverzentrum positioniert sein. Die Sen soreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ können die von ihnen ermittelten Informationen an die Auswerteeinheit 12 senden. Alternativ können die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ die von ihnen ermittelten Informationen auch zum Abruf durch die Auswerteeinheit 12 bereitstellen. Dazu können die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ die ermittelten Informationen in vorbestimmten zeitlichen Intervallen an die Auswerteeinheit 12 sen den oder in vorbestimmten zeitlichen Intervallen zum Abruf durch die Auswerteein heit 12 bereitstellen. Sollten die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ keine Verbindung mit der Auswerteeinheit 12 hersteilen können, können die von den Sensoreinheiten

10 ₁ , 10 ₂ , 10 ₃ , 10 ₄ ermittelten Informationen dann wieder an die Auswerteeinheit 12 gesendet oder zum Abruf bereitgestellt werden, wenn eine Verbindung mit der Aus werteeinheit 12 hergestellt werden kann.

Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ sind an Maschinen 14, 16, 18, 20 angeordnet. Die Maschinen 14, 16, 18 und 20 befinden sich an verschiedenen Stellen der Bau stelle oder des Bergbaus. Die Maschine 14 kann beispielsweise ein Kippfahrzeug sein. Die Maschine 16 kann ein Hydraulikbagger und die Maschine 18 ein weiteres Kippfahrzeug sein. Die Maschine 20 kann ein Radlader sein. Dementsprechend kön nen die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ an verschiedenen Maschinentypen ange bracht werden und unabhängig vom Typ und Hersteller der Maschine Informationen über die Maschine 14, 16, 18, 20 ermitteln, an der sie angebracht sind.

Neben den Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ sind Kameras 22, 24, 26, 28 an den Maschinen 14, 16, 18 und 20 angeordnet. An jeder Maschine 14, 16, 18, 20 sind somit jeweils eine Sensoreinheit 10i, 10 ₂ , 10 ₃ , 10 ₄ und eine Kamera 22, 24, 26 und 28 angeordnet. Jede der Kameras 22, 24, 26 und 28 ist einer der Sensoreinheiten 10i,

10 ₂ , 10 ₃ , 10 ₄ zugeordnet. Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ und die Kameras 22, 24, 26 und 28 können miteinander kommunizieren, wie schematisch durch die Ver bindungslinien angezeigt ist. Die Kommunikation zwischen den Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ und den Kameras 22, 24, 26, 28 kann kabellos erfolgen. Dementspre chend ist jede Maschine 14, 16, 18, 20 mit einer Sensoranordnung S ausgerüstet, die von einer der Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ und einer der Kameras 22, 24, 26, 28 gebildet wird. Jede der Kameras 22, 24, 26, 28 erzeugt Bilddaten, die zumindest einen Abschnitt der Maschine 14, 16, 18, 20 und/oder einen Teil die Prozessumgebung der wenigs tens einen Maschine 14, 16, 18, 20 enthalten. Die von den Kameras 22, 24, 26, 28 erzeugten Bilddaten können an die der jeweiligen Kamera 22, 24, 26, 28 zugeordnete Sensoreinheit 10i, 10 ₂ , 10 ₃ , 10 ₄ übertragen werden. Jede der Sensoreinheiten 10i,

10 ₂ , 10 ₃ , 10 ₄ kann die ihr zugeordnete Kamera 22, 24, 26, 28 steuern.

Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ sind unabhängig von den Steuerungen der Maschinen 14, 16, 18, 20, d. h. die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ sind nicht mit den Steuerungen der Maschinen 14, 16, 18, 20 verbunden. Die Sensoreinheiten 10i,

10 ₂ , 10 ₃ , 10 ₄ können nur an den Stromkreis der Maschinen 14, 16, 18, 20 ange schlossen sein, um mit Energie versorgt zu werden. Die Sensoreinheiten 10i, 10 ₂ ,

10 ₃ , 10 ₄ können jedoch auch eine Energiespeichereinheit aufweisen, sodass die Sen soreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ von den Maschinen 14, 16, 18, 20 unabhängige und damit autarke Einheiten darstellen.

Jede der Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ ermittelt Informationen über die Maschine 14, 16, 18, 20, an der die jeweilige Sensoreinheit 10i, 10 ₂ , 10 ₃ , 10 ₄ angebracht ist. Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ können beispielsweise Informationen über die Position, Beschleunigung, Geschwindigkeit und die Orientierung oder Lage der Ma schine oder Teile der Maschinen 14, 16, 18, 20 ermitteln. Jede der Kameras 22, 24, 26, 28 erzeugt Bilddaten über die Maschine 14, 16, 18, 20, an der die jeweilige Kame ra 22, 24, 26, 28 angebracht ist, und deren Prozessumgebung. Die Bilddaten der Kameras 22, 24, 26, 28 werden an die jeweilige Sensoreinheit 10i, 10 ₂ , 10 ₃ , 10 ₄ über tragen. Die Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ können die von Ihnen erfassten Infor mationen und die von einer der Kameras 22, 24, 26, 28 erzeugten Bilddaten an die Auswerteeinheit 12 senden oder der Auswerteeinheit 12 zum Abruf bereitstellen.

Die Auswerteeinheit 12 kann die von einer der Sensoreinheiten 10i, 10 ₂ , 10 ₃ , 10 ₄ ermittelten Informationen und die von einer der Kameras 22, 24, 26, 28 erzeugten Bilddaten, die eine der Maschinen 14, 16, 18, 20 betreffen, zusammenführen, um die von der wenigstens einen Maschine 14, 16, 18, 20 ausgeführten Prozesse und die Prozessumgebung analysieren zu können.

Figur 2 zeigt eine schematische Ansicht einer Sensoranordnung S, die eine Sen soreinheit 10 und eine Kamera 22 umfasst. Die Sensoreinheit 10 kann mit der Kame ra 22 kommunizieren. Die Sensoreinheit 10 weist eine Einrichtung 30 zur Erfassung der Positionsinformationen, ein Kommunikationsmodul 32, einen Beschleunigungs- sensor 34, ein Gyroskop 36, ein Magnetometer 38, ein Barometer 40 und ein Ther mometer 42 auf. Die Einrichtung 30 zur Erfassung der Positionsinformationen kann dazu ausgebildet sein, die Positionsinformationen beispielsweise über GNSS und/oder mit Hilfe von Wifi-Routern zu ermitteln. Die Sensoreinheit 10 kann ein Spei chermodul 44 aufweisen. Das Kommunikationsmodul 32 kann zur Kommunikation mit der Auswerteeinheit 12 und/oder der Kamera 22 ausgebildet sein.

Die Sensoreinheit 10 hat ein Steuerungsmodul 46, das die Kamera 22 steuert. Das Steuerungsmodul 46 kann die Kamera beispielsweise auf Basis der von ihr ermittel ten Informationen steuern und beispielsweise die Erzeugung von Bilddaten an einem bestimmten Zeitpunkt oder in Abhängigkeit eines ermittelten Ereignisses anweisen. Die Kamera 22 kann die von ihr erzeugten Bilddaten an die Sensoreinheit 10 und/oder an das Steuerungsmodul 46 übermitteln. Das Steuerungsmodul 46 kann ferner die Einrichtung 30, das Kommunikationsmodul 32, die Sensoren 34 bis 42 und das Speichermodul 44 steuern.

In dem Speichermodul 44 können die von der Sensoreinheit ermittelten Informatio nen bezüglich der Maschine gespeichert werden, an der die Sensoreinheit 10 ange ordnet ist. Die Sensoreinheit 10 kann ferner ein Energiespeichermodul haben, sodass die Sensoreinheit 10 eine von der jeweiligen Maschine unabhängige und damit autar ke Einheit darstellt. Alternativ kann die Sensoreinheit 10 jedoch auch zur Verbindung mit einem Stromkreis einer Maschine ausgebildet sein, sodass die Energieversor gung der Sensoreinheit 10 über die Maschine erfolgt. Die Sensoreinheit 10 kann auch eine Schnittstelle aufweisen, die zur Kommunikation mit der Steuerung einer Maschine ausgebildet sein kann.

Mit dem erfindungsgemäßen System 100 und der erfindungsmäßen Sensoranord nung S können die von einer Maschine 14, 16, 18, 20 ausgeführten Prozesse und die Prozessumgebung selbst an entlegensten Einsatzorten im Wesentlichen lückenlos in Echtzeit oder zumindest echtzeitnah überwacht werden. Die von der Sensoreinheit 10 ermittelten Informationen und die von der Kamera erzeugten 22, 24, 26, 28 er zeugten Bilddaten können von der Auswerteeinheit 12 unabhängig vom Einsatzort der Maschine 14, 16, 18, 20 zusammengeführt werden, um die von der Maschine 14, 16, 18, 20 ausgeführten Prozesse und die Prozessumgebung der Maschine 14, 16,

18, 20 überwachen zu können.