Beschreibung

Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen sowie ein nichtflüchtiges computerlesbares Speichermedium, umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren auszuführen. Des Weiteren betrifft die Erfindung ein Verfahren zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen sowie eine Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen und eine Vorrichtung zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen.

Derartige Verfahren, Anordnungen und Vorrichtungen kommen bei der automatischen Verarbeitung von Geflügel zum Einsatz. Um Fleischanteile von den Knochen bzw. knöchernen Teilen der Geflügelbeine zu lösen, ist es erforderlich, zunächst die genaue Lage der knöchernen Teile zu bestimmen, um die zum Entbeinen erforderlichen Schnitte optimal positionieren zu können. Insbesondere sind die Positionen und/oder die Lage von Oberschenkel- und Unterschenkel Knochen sowie die der Kniescheibe von Interesse.

Aus dem Dokument EP 2 532 246 B1 geht ein Ausbeinverfahren für Fleisch mit Knochen unter Verwendung eines Röntgensystems hervor. Das zu verarbeitende Geflügelbein wird zwischen einer Röntgenquelle und einem Röntgendetektor hindurchtransportiert und mittels Analyse der erfassten Röntgendaten die Lage und Position der knöchernen Teile bestimmt.

Nachteilig ist, dass derartige bekannte Verfahren es stets erforderlich machen, im laufenden Betrieb Röntgentechnik einzusetzen. Diese stellt besondere Herausforderun-

BERICHTIGTES BLATT (REGEL 91 ) ISA/EP gen an die Arbeitssicherheit und ist kosten- und wartungsintensiv. Zudem ist für den Umgang mit Röntgenstrahlung hochqualifiziertes Fachpersonal erforderlich.

Es ist daher Aufgabe der vorliegenden Erfindung entsprechende Verfahren, Vorrichtungen sowie Anordnungen zur Verfügung zu stellen, die eine Lokalisierung knöcherner Teile in Geflügelbeinen mit großer Präzision bei möglichst geringem apparativem Aufwand erlauben.

Die Aufgabe wird durch das eingangs genannte Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen gelöst, umfassend die Schritte: Bereitstellen einer Vielzahl von Geflügelbeinen; Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine im optisch sichtbaren Wellenlängenbereich mittels einer optischen Kamera zur Erzeugung optischer Bilddaten zu jedem der Geflügelbeine; Bestrahlen der Rück- oder Vorderseite der Geflügelbeine mit Röntgenstrahlung einer Röntgenquelle und Aufnehmen von Röntgenbildern auf der der Röntgenquelle abgewandten Seite der Geflügelbeine mittels eines Röntgenbildgebers zur Erzeugung von Röntgenbilddaten zu jedem der Geflügelbeine; Festlegen von Referenzpunkten zur Kennzeichnung der Positionen der knöchernen Teile anhand der Röntgenbilddaten, Überlagern der optischen Bilddaten mit den Positionen der knöchernen Teile und/oder den Röntgenbilddaten unter Erzeugung von Hybridbilddaten zu jedem der Geflügelbeine; Festlegen von Referenzpunkten zur Kennzeichnung der Positionen der knöchernen Teile anhand der Hybridbilddaten; Eingeben der Bilddaten der optischen Kamera als Eingangsdaten und der Referenzpunkte als Zieldaten als Trainingsdaten für das neuronale Netz; repetierendes Anpassen der Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten.

Das erfindungsgemäße Verfahren bietet den Vorteil, dass ausschließlich in der Trainings- bzw. Anlernphase Röntgentechnik zum Einsatz kommt. Nachdem das neuronale Netz mit dem erfindungsgemäßen Verfahren angelernt worden ist, kann die Lage der knöchernen Teile in den Geflügelbeinen allein anhand optischer Bilder der Geflügelbeine zuverlässig bestimmt werden. Hierzu werden die optischen Bilddaten und die Röntgenbilddaten miteinander überlagert. Die Hybridbilddaten repräsentieren also ein Überlagerungsbild, in dem das optische Bild und das Röntgenbild des intakten Geflügelbeins enthalten sind. Es ist daher möglich, anhand des Hybridbildes die exakte Lage und Position der knöchernen Teile in dem Geflügelbein zu erkennen und diese mit der äußeren Ansicht des intakten Geflügelbeins in Beziehung zu setzen. Auf diese Weise wird eine Korrelation zwischen der Lage der knöchernen Teile und der äußeren Gestalt des Geflügelbeins geschaffen.

Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkel kno- chen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.

Gemäß einer weiteren bevorzugten Ausbildung der Erfindung sind die Oberschenkel re- ferenzpunkte und die Unterschenkelreferenzpunkte Punktpaare, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen, vorzugsweise bezüglich der Knochenlängsrichtung mittig in dem jeweiligen Knochenkopf.

Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke bilden, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzie- ren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.

Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Punktwolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Kniescheibe zu bestimmen, sondern auch deren Größe abzuschätzen, insbesondere deren Länge und Breite. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe. Gemäß einer weiteren bevorzugten Ausführungsform werden objektzugehörige Bildbereiche der optischen Bilddaten und die Röntgenbilddaten vor der Erzeugung der Hybridbilddaten vom Bildhintergrund freigestellt. Durch das Freistellen werden diejenigen Bildbereiche herausmaskiert, die nicht das Geflügelbein bzw. dessen knöcherne Teile zeigen. Auf diese Weise wird verhindert, dass im Hintergrund befindliche Strukturen beim Trainieren des neuronalen Netzes Berücksichtigung finden. Insgesamt wird dadurch die Zuverlässigkeit und Präzision der Lokalisierung der knöchernen Teile erhöht.

Die Aufgabe wird auch durch das eingangs genannte nichtflüchtige computerlesbare Speichermedium, umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen auszuführen, gelöst.

Des Weiteren wird die Aufgabe durch das eingangs genannte Verfahren zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen gelöst, umfassend die Schritte: Fördern der Geflügelbeine in eine Förderrichtung mittels einer Fördereinrichtung; Erfassen von Digitalbildern der Vorder- oder Rückseiten der Geflügelbeine mittels eines ersten optischen Bildgebers zu jedem der an dem Bildgeber vorbeigeförderten Geflügelbeine; sequentielles Bereitstellen der Digitalbilder als Eingabedaten an ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, wobei das erste neuronale Netz zum Lokalisieren der knöchernen Teile gemäß dem zuvor genannten Verfahren zum Trainieren des mindestens einen neuronalen Netzes trainiert worden ist; Ermitteln von Positionsdaten der knöchernen Teile mittels des ersten neuronalen Netzes und Bereitstellen der Positionsdaten zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine zur Bearbeitung der Geflügelbeine auf Basis der ermittelten Positionsdaten.

Das erfindungsgemäße Verfahren bietet den Vorteil, dass zum Lokalisieren der in Geflügelbeinen vorhandenen knöchernen Teile von den Geflügelbeinen ausschließlich Bilder im optisch sichtbaren Bereich erfasst werden müssen. Das erfindungsgemäße Verfahren ist daher im laufenden Betrieb röntgentechnikfrei. Der erforderliche apparative Aufwand wird damit gegenüber den aus dem Stand der Technik bekannten Verfahren erheblich reduziert. Insbesondere durch den Verzicht auf Röntgentechnik bestehen die mit der Röntgentechnik einhergehenden Gefahren nicht mehr und es kann auf den Einsatz hochqualifizierten Personals verzichtet werden. Das erfindungsgemäße Verfahren ist daher im Vergleich zu den aus dem Stand der Technik bekannten Verfahren erheblich kostengünstiger. In der Präzision der Lokalisierung der knöchernen Teile steht es röntgenbasierten Verfahren jedoch in nichts nach.

Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkel kno- chen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.

Gemäß einer weiteren bevorzugten Ausbildung der Erfindung sind die Oberschenkel re- ferenzpunkte und die Unterschenkelreferenzpunkte Punktpaare, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen.

Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke bilden, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzie- ren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.

Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Punktwolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Kniescheibe zu bestimmen, sondern auch deren Größe. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe.

Eine weitere zweckmäßige Ausgestaltung der Erfindung ist gekennzeichnet durch Ermitteln eines Schneidlinienverlaufes der lokalisierten knöchernen Teile aus den bereitgestellten Positionsdaten mittels einer Steuereinheit der nachgeordneten Maschine und Bewegen eines steuerbeweglich eingerichteten Messers der nachgeordneten Maschine mittels der Steuereinheit entlang dieses Schneidlinienverlaufes, um das Geflügelbein zu entbeinen. Auf diese Weise kann das Geflügelbein in optimaler Weise ent- beint werden. Durch Kenntnis der Lage der knöchernen Teile ist es möglich, einen optimalen Schneidlinienverlauf zu ermitteln, so dass das Fleisch von den knöchernen Teilen gelöst wird, aber ein Kontakt des Messers der nachgeordneten Maschine mit den knöchernen Teilen des Geflügelbeins in jedem Fall vermieden wird. Zugleich kann jedoch die Schneidlinie in Kenntnis der Position der knöchernen Teile so dicht wie möglich an diese herangeführt werden, um möglichst wenig Restfleisch an den knöchernen Teilen zu belassen. Auch die Einschnittposition, die in der Regel im Bereich der Kniescheibe liegt, lässt sich so exakt bestimmen. Die vorliegende Erfindung ermöglicht es damit, Geflügelbeine vollautomatisch zu entbeinen.

Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die erfassten Digitalbilder der Geflügelbeine vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz einer Beinseitenerkennungseinrichtung zugeführt werden, die eingerichtet ist, eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder von einem rechten oder einem linken Geflügelbein stammt und, falls das Digitalbild nicht mit einer vorgegebenen Beinseite übereinstimmt, die Bilddaten des jeweiligen Digitalbilds an einer virtuellen Achse zu spiegeln, um das Digitalbild eines rechten Geflügelbeins in ein scheinbares Digitalbild eines linken Geflügelbeins und umgekehrt umzuwandeln. Vorzugsweise ist die virtuelle Achse eine vertikale Achse. Vorteilhafterweise genügt es so, das erste neuronale Netz so auszulegen, dass dieses nur einen Beintyp erkennt, nämlich entweder ein linkes oder ein rechtes Geflügelbein. Hierdurch wird sowohl die Komplexität des neuronalen Netzes reduziert als auch der erforderliche Trainingsaufwand des neuronalen Netzes deutlich reduziert, da dieses nur mit einem Geflügelbeintyp trainiert werden muss. Ist das neuronale Netz beispielsweise auf die Verarbeitung von linken Geflügelbeinen ausgelegt, werden Digitalbilder von rechten Geflügelbeinen zunächst wie beschrieben gespiegelt. Durch die Spiegelung erscheint das Teilbild von dem Geflügelbein dann so, als wäre es von ei-

BERICHTIGTES BLATT (REGEL 91 ) ISA/EP nem linken Geflügelbein aufgenommen. Auf diese Weise ist es möglich, anhand der Bilddaten sowohl von rechten als auch von linken Geflügelbeinen mittels des für die Verarbeitung von linken Geflügelbeinen ausgelegten neuronalen Netzes die knöchernen Teile in Geflügelbeinen zu lokalisieren. Ist das neuronale Netz für die Verarbeitung von rechten Geflügelbeinen ausgelegt, wird entsprechend andersherum verfahren und jeweils die Teilbilder von linken Geflügelbeinen wie beschrieben vor der Verarbeitung durch das neuronale Netz gespiegelt.

Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Beinseitenerkennung mittels eines zweiten neuronalen Netzes erfolgt, das mit Bildern von Geflügelbeinen der vorgegebenen Beinseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das zweite neuronale Netz jeweils ausschließlich mit Bildern von linken oder rechten Geflügelbeinen trainiert. Ist das zweite neuronale Netz beispielsweise zur Erkennung von linken Geflügelbeinen ausgelegt, zeigt dieses bei Eingabe eines Bildes von einem rechten Geflügelbein an, dass kein linkes Bein erkannt worden ist. Das Nichterkennen eines linken Geflügelbeines impliziert, dass es sich um ein rechtes Bein handelt.

Eine bevorzugte Weiterbildung der Erfindung ist dadurch gekennzeichnet, dass die Digitalbilder der Geflügelbeine vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz und/oder vor der Beinseitenerkennung einer Vorder-/Rückseitenerken- nungseinrichtung zugeführt werden, die eingerichtet ist, eine Vorder-/Rückseiten- erkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder die Vorderseite oder die Rückseite des Geflügelbeins zeigt und, falls das Digitalbild nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, eine das jeweilige Geflügelbein haltende und um deren Hochachse schwenksteuerbewegliche Hängeaufnahme der Fördereinrichtung zu verlassen, eine 180°-Drehung auszuführen und von der zum ersten optischen Bildgeber weisenden Seite des Geflügelbeins ein Digitalbild mittels eines zweiten optischen Bildgebers, der dem ersten optischen Bildgeber bezüglich der Förderrichtung nachgeordnet ist, zu erfassen. Dies bietet den Vorteil, dass die Geflügelbeine bezüglich ihrer Vorder-/Rückseitenausrichtung nicht vorsortiert werden müssen. Die Vorderseite bezeichnet dabei die Außen- bzw. Hautseite des Geflügelbeins, während die Rückseite die Innen- bzw. Fleischseite des Geflügelbeins bezeichnet. Unabhängig von der Ausrichtung der Geflügelbeine kann daher die Lokalisierung der knöchernen Teile vollautomatisch erfolgen. Bevorzugt wird als vorgegebene Seite stets die Vorderseite der Geflügelbeine gewählt, weil diese aufgrund des größeren Muskel- fleischanteils und der dadurch gewölbten Oberfläche in den Digitalbildern bessere Anhaltspunkte zur Lokalisierung der knöchernen Teile bieten.

Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Vorder-/Rückseitenerkennung mittels eines dritten neuronalen Netzes erfolgt, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rückseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das dritte neuronale Netz jeweils ausschließlich mit Bildern der Vorder- oder Rückseite von Geflügelbeinen trainiert. Ist das dritte neuronale Netz beispielsweise zur Erkennung von Geflügelbeinvorderseiten ausgelegt, zeigt dieses bei Eingabe eines Bildes von einer Geflügelbeinrückseite an, dass keine Vorderseite erkannt worden ist. Das Nichterkennen einer Vorderseite impliziert, dass es sich um die Rückseite handelt.

Darüber hinaus wird die Aufgabe auch durch eine Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen gelöst, umfassend eine zum Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine im optisch sichtbaren Wellenlängenbereich eingerichtete und zur Erzeugung optischer Bilddaten zu jedem der Geflügelbeine ausgebildete optische Kamera; eine zum Bestrahlen der Rück- oder Vorderseite der Geflügelbeine mit Röntgenstrahlung eingerichtete Röntgenquelle und ein zum Aufnehmen von Röntgenbildern auf der der Röntgenquelle abgewandten Seite der Geflügelbeine eingerichteter und zur Erzeugung von Röntgenbilddaten zu jedem der Geflügelbeine ausgebildeter Röntgenbildgeber; eine zum Anzeigen der Röntgenbilddaten und/oder zum Anzeigen von Hybridbilddaten und zum Eingeben von festzulegenden Referenzpunkten, die zur Kennzeichnung der Positionen der knöchernen Teile dienen, ausgebildete Anzeige- und Eingabeeinrichtung; eine zum Überlagern der optischen Bilddaten mit den Röntgenbilddaten und/oder den Referenzpunkten unter Erzeugung der Hybridbilddaten zu jedem der Geflügelbeine ausgebildete Überlagerungseinheit; mindestens ein neuronales Netz und eine Lernzyklus-Steuereinheit, die zum Eingeben der Bilddaten als Eingangsdaten und der Referenzpunkte als Zieldaten als Trainingsdaten für das neuronale Netz ausgebildet und eingerichtet ist, wobei die Lernzyklus-Steuereinheit eingerichtet ist, Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten repetierend anzupassen. Die erfindungsgemäße Anordnung bietet den Vorteil, dass ausschließlich in der Trainings- bzw. Anlernphase Röntgentechnik zum Einsatz kommt. Nachdem das neuronale Netz mit dem erfindungsgemäßen Verfahren angelernt worden ist, kann die Lage der knöchernen Teile in den Geflügelbeinen allein anhand optischer Bilder der Geflügelbeine zuverlässig bestimmt werden. In der Trainingsphase werden die optischen Bilddaten und die Röntgenbilddaten miteinander überlagert. Die Hybridbilddaten repräsentieren also ein Überlagerungsbild, in dem das optische Bild des intakten Geflügelbeins und das Röntgenbild enthalten sind. Es ist daher möglich, anhand des Hybridbildes die exakte Lage und Position der knöchernen Teile in dem Geflügelbein zu erkennen und diese mit der äußeren Ansicht des intakten Geflügelbeins in Beziehung zu setzen. Auf diese Weise wird eine Korrelation zwischen der Lage der knöchernen Teile und der äußeren Gestalt des Geflügelbeins geschaffen sowie von dem neuronalen Netz gelernt.

Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkelknochen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.

Gemäß einer weiteren bevorzugten Ausbildung der Erfindung sind die Oberschenkelreferenzpunkte und die Unterschenkelreferenzpunkte Punktpaare, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen.

Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke bilden, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzieren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.

Gemäß einer weiteren bevorzugten Ausführungsform umfasst die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenrefe- renzpunkt, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Kniescheibe zu bestimmen, sondern auch deren Größe. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe. Alternativ ist es möglich, dass die Punktwolke - wie eingangs erwähnt - nur einen Punkt umfasst, vorzugsweise nur den oberen Kniescheibenreferenzpunkt oder einen Punkt, der in der Mitte der Kniescheibe liegt.

Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Anordnung ausgebildet ist, objektzugehörige Bildbereiche der optischen Bilddaten und der Röntgenbilddaten vor der Erzeugung der Hybridbilddaten vom Bildhintergrund freizustellen. Durch das Freistellen werden diejenigen Bildbereiche herausmaskiert, die nicht das Geflügelbeine bzw. dessen knöcherne Teile zeigen. Auf diese Weise wird verhindert, dass im Hintergrund befindliche Strukturen beim Trainieren des neuronalen Netzes Berücksichtigung finden. Insgesamt wird dadurch die Zuverlässigkeit und Präzision der Lokalisierung der knöchernen Teile erhöht.

Ferner wird die Aufgabe durch eine Vorrichtung zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen, umfassend eine zum Fördern der Geflügelbeine in eine Förderrichtung eingerichtete Fördereinrichtung; einen zum Erfassen von Digitalbildern der Vorder- oder Rückseiten der Geflügelbeine ausgebildeten ersten optischen Bildgeber; ein erstes zum Lokalisieren der knöchernen Teile ausgebildetes neuronales Netz, das gemäß einem Verfahren nach einem der Ansprüche 1 bis 6 trainiert worden ist, sowie eine zum sequentiellen Bereitstellen der Digitalbilder als Eingabedaten an das erste neuronale Netz eingerichtete Eingabeeinheit, wobei das erste neuronale Netz eingerichtet ist, Positionsdaten der knöchernen Teile zu ermitteln und die Positionsdaten zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine zur Bearbeitung der Geflügelbeine auf Basis der ermittelten Positionsdaten bereitzustellen, gelöst.

Die erfindungsgemäße Vorrichtung ist daher röntgentechnikfrei. Der erforderliche apparative Aufwand wird damit gegenüber den aus dem Stand der Technik bekannten

BERICHTIGTES BLATT (REGEL 91 ) ISA/EP Vorrichtungen erheblich reduziert. Insbesondere durch den Verzicht auf Röntgentechnik bestehen die mit der Röntgentechnik einhergehenden Gefahren nicht mehr und es kann auf den Einsatz hochqualifizierten Personals verzichtet werden. Zudem sind keine teuren Komponenten der Röntgentechnik im laufenden Betrieb mehr erforderlich und der erforderliche Wartungsaufwand ist erheblich geringer. Die erfindungsgemäße Vorrichtung ist daher im Vergleich zu den aus dem Stand der Technik bekannten Vorrichtungen erheblich kostengünstiger. In der Präzision der Lokalisierung der knöchernen Teile steht es röntgenbasierten Vorrichtungen jedoch in nichts nach.

Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Referenzpunkte Oberschenkelreferenzpunkte, Unterschenkelreferenzpunkte sowie Kniescheibenreferenzpunkte umfassen. Vorgenannte Referenzpunkte bieten hinreichende Genauigkeit, um Lage und Position von Oberschenkel- und Unterschenkelkno- chen sowie der Kniescheibe zu bestimmen. Zugleich wird der algorithmische Aufwand zur Bestimmung dieser Referenzpunkte auf ein erforderliches Minimalmaß reduziert.

Eine zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Oberschenkel referenzpunkte und die Unterschenkelreferenzpunkte Punktpaare sind, die jeweils die Position der Knochenendbereiche bezeichnen. Anhand der Punktpaare ist die Position und Ausrichtung der genannten Knochen in dem Geflügelbein hinreichend genau definiert. Besonders bevorzugt liegen die Punktpaare jeweils an den Knochenköpfen. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.

Gemäß einer weiteren bevorzugten Ausführungsform bilden die Kniescheibenreferenzpunkte eine mindestens einen Punkt umfassende Punktwolke, wobei die Punkte der Punktwolke Randpositionen der Kniescheibe referenzieren. Zur Angabe der Lage der Kniescheibe reicht in der Regel eine Punktwolke mit einem Punkt aus. Alternativ wird dieser eine Punkt so gewählt, dass dieser in der Mitte der Kniescheibe liegt.

Eine weitere zweckmäßige Ausbildung der Erfindung ist dadurch gekennzeichnet, dass die Punktewolke wenigstens einen oberen Kniescheibenreferenzpunkt sowie einen unteren Kniescheibenreferenzpunkt umfasst, wobei die oberen und unteren Kniescheibenreferenzpunkte auf einem Kniescheibenrandbereich lokalisiert sind. Durch Vorgabe der beiden genannten Referenzpunkte ist es möglich, nicht nur die Position der Knie-

BERICHTIGTES BLATT (REGEL 91 ) ISA/EP scheibe zu bestimmen, sondern auch deren Größe. Besonders bevorzugt umfasst die Punktwolke neben dem genannten oberen Kniescheibenreferenzpunkt und dem unteren Kniescheibenreferenzpunkt einen dritten Referenzpunkt, so dass die drei Referenzpunkte ein Dreieck bilden, dessen Fläche die Kniescheibe bestmöglich abdeckt. Die genannten drei Referenzpunkte liegen dann - wie schon erwähnt - bevorzugt auf dem Rand der Kniescheibe.

Eine weitere zweckmäßige Ausbildung der Erfindung ist gekennzeichnet durch eine zum Ermitteln eines Schneidlinienverlaufes der lokalisierten knöchernen Teile aus den bereitgestellten Positionsdaten eingerichtete Steuereinheit der nachgeordneten Maschine, wobei die Steuereinheit ferner ausgebildet ist, zur Bearbeitung der Geflügelbeine ein steuerbeweglich eingerichtetes Messer der nachgeordneten Maschine entlang dieses Schneidlinienverlaufes zu bewegen, um das Geflügelbein zu entbeinen. Auf diese Weise kann das Geflügelbeinen in optimaler Weise entbeint werden. Durch Kenntnis der Lage der knöchernen Teile ist es möglich, einen optimalen Schneidlinienverlauf zu ermitteln, so dass das Fleisch von den knöchernen Teilen gelöst wird, aber ein Kontakt des Messers der nachgeordneten Maschine mit den knöchernen Teilen des Geflügelbeins in jedem Fall vermieden wird. Zugleich kann jedoch die Schneidlinie in Kenntnis der Position der knöchernen Teile so dicht wie möglich an diese herangeführt werden, um möglichst wenig Restfleisch an den knöchernen Teilen zu belassen. Auch die Einschnittposition, die in der Regel im Bereich der Kniescheibe liegt, lässt sich so exakt bestimmen. Die vorliegende Erfindung ermöglicht es damit, Geflügelbeine vollautomatisch zu entbeinen.

Gemäß einer weiteren bevorzugten Ausbildung der Erfindung umfasst die Vorrichtung weiter eine Beinseitenerkennungseinrichtung, die ausgebildet ist, anhand der erfassten Digitalbilder der Geflügelbeine vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder von einem rechten oder einem linken Geflügelbein stammt und, falls das Digitalbild nicht mit einer vorgegebenen Beinseite übereinstimmt, die Bilddaten des jeweiligen Digitalbilds an einer virtuellen Achse zu spiegeln, um das Digitalbild eines rechten Geflügelbeins in ein scheinbares Digitalbild eines linken Geflügelbeins und umgekehrt umzuwandeln. Vorteilhafterweise genügt es, das erste neuronale Netz so auszulegen, dass dieses nur einen Beintyp erkennt, nämlich entweder ein linkes oder ein rechtes Geflügelbein. Hierdurch wird sowohl die Komplexität des neuronalen Netzes reduziert als auch der erforderliche Trainingsaufwand des neuronalen Net- zes erheblich reduziert, da dieses nur mit einem Geflügelbeintyp trainiert werden muss. Ist das neuronale Netz beispielsweise auf die Verarbeitung von linken Geflügelbeinen ausgelegt, werden Digitalbilder von rechten Geflügelbeinen zunächst wie beschrieben gespiegelt. Durch die Spiegelung erscheint das Teilbild von dem Geflügelbein dann so, als wäre es von einem linken Geflügelbein aufgenommen. Auf diese Weise ist es möglich, anhand der Bilddaten sowohl von rechten als auch von linken Geflügelbeinen mittels des für die Verarbeitung von linken Geflügelbeinen ausgelegten neuronalen Netzes die knöchernen Teile in Geflügelbeinen zu lokalisieren. Ist das neuronale Netz für die Verarbeitung von rechten Geflügelbeinen ausgelegt, wird entsprechend andersherum verfahren und jeweils die Teilbilder von linken Geflügelbeinen wie beschrieben vor der Verarbeitung durch das neuronale Netz gespiegelt.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfasst die Beinseitenerkennung ein zweites neuronales Netz, das mit Bildern von Geflügelbeinen der vorgegebenen Beinseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das zweite neuronale Netz jeweils ausschließlich mit Bildern von linken oder rechten Geflügelbeinen trainiert. Ist das zweite neuronale Netz beispielsweise zur Erkennung von linken Geflügelbeinen ausgelegt, zeigt dieses bei Eingabe eines Bildes von einem rechten Geflügelbein an, dass kein linkes Bein erkannt worden ist. Das Nichterkennen eines linken Geflügelbeines impliziert, dass es sich um ein rechtes Bein handelt.

Eine weitere zweckmäßige Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Vorrichtung weiter eine Vorder-/Rückseitenerkennungseinrichtung umfasst, die eingerichtet ist, bevor die Digitalbilder der Geflügelbeine als Eingabedaten an das erstes neuronale Netz bereitgestellt und/oder bevor die Beinseitenerkennung durchgeführt wird, eine Vorder-/Rückseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder die Vorderseite oder die Rückseite des Geflügelbeins zeigt und, falls das Digitalbild nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, eine das jeweilige Geflügelbein haltende und um deren Hochachse schwenksteuerbewegliche Hängeaufnahme der Fördereinrichtung zu verlassen, eine 180°- Drehung auszuführen und von der zum ersten optischen Bildgeber weisenden Seite des Geflügelbeins ein Digitalbild mittels eines zweiten optischen Bildgebers, der dem ersten optischen Bildgeber bezüglich der Förderrichtung nachgeordnet ist, zu erfassen. Dies bietet den Vorteil, dass die Geflügelbeine bezüglich ihrer Vorder-/Rückseitenaus- richtung nicht vorsortiert werden müssen. Unabhängig von der Ausrichtung der Geflü- gelbeine kann daher die Lokalisierung der knöchernen Teile vollautomatisch erfolgen. Bevorzugt wird als vorgegebene Seite stets die Vorderseite der Geflügelbeine gewählt, weil diese aufgrund des größeren Muskelfleischanteils und der dadurch gewölbten Oberfläche in den Digitalbildern bessere Anhaltspunkte zur Lokalisierung der knöchernen Teile bieten.

Eine bevorzugte Weiterbildung der Erfindung zeichnet sich dadurch aus, dass die Vor- der-/Rückseitenerkennungseinrichtung ein drittes neuronales Netz umfasst, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rückseite trainiert worden ist. Dies bietet den Vorteil einer sehr hohen Erkennungsgenauigkeit. Vorzugsweise wird das dritte neuronale Netz jeweils ausschließlich mit Bildern der Vorder- oder Rückseite von Geflügelbeinen trainiert. Ist das dritte neuronale Netz beispielsweise zur Erkennung von Geflügelbeinvorderseiten ausgelegt, zeigt dieses bei Eingabe eines Bildes von einer Geflügelbeinrückseite an, dass keine Vorderseite erkannt worden ist. Das Nichterkennen einer Vorderseite impliziert, dass es sich um die Rückseite handelt.

Die Aufgabe wird auch durch ein nichtflüchtiges computerlesbares Speichermedium umfassend ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das zuvor beschriebene Verfahren zum Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen auszuführen, gelöst.

Weitere bevorzugte und/oder zweckmäßige Merkmale und Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen und der Beschreibung. Besonders bevorzugte Ausführungsformen werden anhand der beigefügten Zeichnung näher erläutert. In der Zeichnung zeigt:

Fig. 1 eine Draufsicht der erfindungsgemäßen Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbeinvorhandenen knöchernen Teilen,

Fig. 2 eine schematische Ansicht eines ersten optischen Bildgebers und eines sich davor befindenden Geflügelbeins,

Fig. 3 eine schematische Ansicht eines auf den Hybridbilddaten basierenden Hybridbildes,

BERICHTIGTES BLATT (REGEL 91 ) ISA/EP Fig. 4 eine schematische Ansicht der erfindungsgemäßen Vorrichtung zum Lokalisieren knöcherner Teile

Fig. 5 ein Blockschaltbild,

Fig. 6 ein Flussdiagramm der Vorverarbeitung,

Fig. 7 eine Seitenansicht, der in Fig. 4 gezeigten Vorrichtung und

Fig. 8 eine schematische Darstellung der Vorder-/Rückseitenerkennungsein- richtung.

Die erfindungsgemäßen Verfahren, das erfindungsgemäße Speichermedium sowie die erfindungsgemäße Vorrichtung werden im Folgenden näher erläutert.

Figur 1 zeigt eine Draufsicht der erfindungsgemäßen Anordnung zum Trainieren mindestens eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein 10 vorhandenen knöchernen Teilen. Bei diesen knöchernen Teilen handelt es sich, wie in Figur 3 gezeigt, insbesondere um den Oberschenkelknochen 11 , den Unterschenkelknochen 12 sowie die Kniescheibe. Nachfolgende Ausführungen dienen sowohl der Erläuterung der genannten Anordnung als auch der näheren Beschreibung des erfindungsgemäßen Verfahrens zum Trainieren des genannten neuronalen Netzes.

Zum Trainieren des neuronalen Netzes ist es zunächst erforderlich, eine Vielzahl Geflügelbeine 10 bereitzustellen. Die Erfindung gemäß Anordnung umfasst eine optische Kamera 14, die zum Aufnehmen von Bildern der Vorder- oder Rückseiten der Geflügelbeine 10 im optisch sichtbaren Wellenlängenbereich eingerichtet ist. Die optische Kamera 14 ist also ausgebildet, optische Bilddaten zu jedem der Geflügelbeine 10 zu erzeugen. Bevorzugt sind die Geflügelbeine 10 mit ihrer Vorderseite zu der optischen Kamera 14 ausgerichtet, so dass ausschließlich Bilder der Geflügelbein-Vorderseite aufgenommen werden. Es ist jedoch auch möglich, dass die Geflügelbeine 10 mit ihrer Rückenseite zur optischen Kamera 14 ausgerichtet sind. In diesem Fall werden ausschließlich Bilder der Geflügelbein-Rückseite aufgenommen.

Die Geflügelbeine 10 können beispielsweise mittels einer - in der Zeichnung nicht gezeigten - Fördereinrichtung in Förderrichtung 16 transportiert werden. Es ist jedoch auch möglich, dass die Geflügelbeine 10 manuell vor der optischen Kamera 14 positioniert werden.

Die Erfindung gemäß Anordnung umfasst weiter eine zum Bestrahlen der Rück- oder Vorderseite der Geflügelbeine 10 mit Röntgenstrahlung 17 eingerichtete Röntgenquelle

18 sowie einen zum Aufnehmen von Röntgenbildern eingerichteten Röntgenbildgeber

19 bzw. Röntgenbildsensor. Der Röntgenbildgeber 19 ist auf der der Röntgenquelle 18 abgewandten Seite der Geflügelbeine 10 angeordnet und zur Erzeugung von Röntgenbilddaten ausgebildet. Auf diese Weise werden Röntgenbilddaten zu jedem der Geflügelbeine 10 erzeugt.

Die gewonnenen optischen Bilddaten und die Röntgenbilddaten bilden die Grundlage, auf Basis derer das erste neuronale Netz trainiert wird. Die optischen Bilddaten und die Röntgenbilddaten werden einer - in der Zeichnung nicht gezeigten - Überlagerungseinheit zugeführt, die eingerichtet ist, jeweils die optischen Bilddaten eines der Geflügelbeine 10 mit den Röntgenbilddaten desselben Geflügelbeines 10 zu überlagern, um Hybridbilddaten zu jedem der Geflügelbeine 10 zu erzeugen. Die Hybridbilder 15 zu jedem der Geflügelbeine 10 repräsentieren also ein durch Superposition gewonnenes Überlagerungsbild, in dem die Lage der knöchernen Teile, insbesondere des Oberschenkelknochens 11 , des Unterschenkelknochens 12 und der Kniescheibe, zusammen mit der äußeren Gestalt des Geflügelbeins 10 sichtbar sind. Vorzugsweise erfolgt die Aufnahme der Bilder mittels der optischen Kamera 14 sowie des Röntgenbildgebers 19 in der Weise, dass die jeweils aufgenommenen Bildausschnitte des Geflügelbeins bereits möglichst deckungsgleich miteinander sind. Vorzugsweise ist die Überlagerung zusätzlich eingerichtet, eine solche Deckungsgleichheit der Bildausschnitte herzustellen.

Gemäß einer weiteren vorteilhaften Ausbildung der Erfindung werden zunächst die Referenzpunkte 20 zur Kennzeichnung der Positionen der knöchernen Teile anhand der Röntgenbilddaten festgelegt. Die Festlegung kann beispielsweise von einem Inspekteur vorgenommen werden oder halbautomatisch erfolgen. Anschließend werden

BERICHTIGTES BLATT (REGEL 91 ) ISA/EP die so ermittelten Positionen der knöchernen Teile mit den optischen Bilddaten überlagert und so die Hybridbilddaten zu jedem der Geflügelbeine 10 erzeugt.

Das erfindungsgemäße Verfahren sowie die Vorrichtung zum Trainieren des neuronalen Netzes umfasst weiter das Anzeigen der Hybridbilddaten mittels einer - in der Zeichnung nicht gezeigten - Anzeige- und Eingabeeinrichtung. Anhand der angezeigten Hybriddaten werden nun beispielsweise durch einen Inspekteur oder halbautomatisch Referenzpunkte 20 festgelegt, die zur Kennzeichnung der Position der knöchernen Teile dienen. Die Referenzpunkte 20 werden über die Eingabeeinrichtung eingegeben.

Figur 3 zeigt beispielhaft eine schematische Ansicht eines solchen auf den Hybridbilddaten basierenden Hybridbildes 15.

Die vorliegende Erfindung umfasst weiter ein - in der Zeichnung nicht gezeigtes - neuronales Netz und eine Lernzyklus-Steuereinheit. Die Lernzyklus-Steuereinheit ist zum Eingeben der optischen Bilddaten und der Referenzpunkte 20, bevorzugt der Referenzpunkte 20a, 20b, 20c, 20d, 20e, 20f, 20g, als Trainingsdaten für das neuronale Netz ausgebildet und eingerichtet. Die optischen Bilddaten bilden also die Eingabe für das neuronale Netz, während die Referenzpunkte 20 jeweils den zu den jeweiligen optischen Bilddaten erwarteten Ausgabedaten des neuronalen Netzes entsprechen und damit die Zieldaten bilden.

Zum Trainieren des neuronalen Netzes ist die Lernzyklus-Steuereinheit eingerichtet, die Gewichte des neuronalen Netzes auf Basis der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten repetierend anzupassen. Bei dem neuronalen Netz handelt es sich vorzugsweise um ein mehrschichtiges neuronales Netz mit einer entsprechenden Anzahl an verborgenen Schichten. Bevorzugt werden die Gewichte beim Training mittels des Verfahrens des stochastischen Gradientenabstiegs angepasst. Als Verlustfunktion wird beispielsweise aus der Differenz zwischen den Zieldaten und den von dem neuronalen Netz erzeugten Ausgabedaten der mittlere quadratische Fehler herangezogen.

Der Aufbau derartiger neuronaler Netze sowie die Anpassung der Gewichte des neuronalen Netzes auf Basis des Fehlers zwischen gewünschten Ausgabedaten und Ziel- daten ist hinlänglich bekannt, so dass an dieser Stelle auf weitere Ausführungen hierzu verzichtet wird.

Vorzugsweise umfassen die Referenzpunkte 20 jeweils zwei Punkte zur Kennzeichnung von Oberschenkel 11 und Unterschenkel 12 sowie drei Punkte zur Kennzeichnung der Kniescheibe. So kennzeichnen die Oberschenkelreferenzpunkte 20a, 20b die Lage des Oberschenkelknochens 11 , die Unterschenkelreferenzpunkte 20c, 20d die Position des Unterschenkelknochens 12 und die Kniescheibenreferenzpunkte 20e, 20f und 20g die Lage der Kniescheibe. Selbstverständlich ist die vorliegende Erfindung nicht auf die genannte Anzahl an Referenzpunkten 20 beschränkt. Vielmehr ist es möglich, auch mehr Referenzpunkte 20 vorzugeben.

Weiter bevorzugt bilden die Oberschenkelreferenzpunkte 20a, 20b sowie die Unterschenkelreferenzpunkte 20c, 20d jeweils Punktpaare. Diese Punktpaare kennzeichnen vorzugsweise die Position der Knochenendbereiche 21. Die Knochenendbereiche 21 bezeichnen jeweils diejenigen Bereich eines Knochens, an denen sich die Gelenkköpfe befinden. Vorzugsweise bilden die Kniescheibenreferenzpunkte 20e, 20f, 20g eine Punktwolke 22, deren Punkte Randpositionen der Kniescheibe referenzieren. Die Punktwolke 22 umfasst mindestens einen der Kniescheibenreferenzpunkte 20e, 20f, 20g. Vorzugsweise umfasst die Punktwolke 22 jedoch die in Figur 3 gezeigten drei Kniescheibenreferenzpunkte 20e, 20f, 20g, die den Rand der Kniescheibe referenzieren.

Gemäß einer weiteren bevorzugten Ausführung der Erfindung umfasst die Punktwolke 22 jedenfalls zwei der Referenzpunkte 20e, 20g, nämlich einen unteren Kniescheibenreferenzpunkt und einen oberen Kniescheibenreferenzpunkt.

Vorzugsweise ist die Überlagerungseinheit eingerichtet, objektzugehörige Bildbereiche der optischen Bilddaten und der Röntgenbilddaten vor der Erzeugung der Hybridbilddaten von Bildhintergrund freizustellen. Anders ausgedrückt werden Bildbereiche, die nur den Hintergrund darstellen in den jeweiligen Daten maskiert.

Die vorliegende Erfindung betrifft auch ein nichtflüchtiges computerlesbares Speichermedium mit einem Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das zuvor beschriebene Verfahren zum Trainieren des neuronalen Netzes auszuführen. Als Speichermedium kommen alle gängigen Speichertypen in Frage, bei- spielsweise, CD-ROMs, DVDs, Speicher-Sticks, Festplatten oder Cloud-Speicher- Dienste.

Die vorliegende Erfindung umfasst auch eine Vorrichtung sowie ein Verfahren zum Lokalisieren von in dem Geflügelbein 10 vorhandenen knöchernen Teilen. Die erfindungsgemäße Vorrichtung sowie das erfindungsgemäße Verfahren werden im Folgenden zunächst anhand der Figur 4 näher erläutert. Die Vorrichtung umfasst eine Fördereinrichtung 23, die zum Fördern der Geflügelbeine 10 in eine Förderrichtung 16 ausgebildet ist. Mittels eines ersten optischen Bildgebers 24, der schematisch in Figur 2 dargestellt ist, werden Digitalbilder 25 der Vorder- oder Rückseiten der Geflügelbeine 10 erfasst. Als besonders vorteilhaft hat sich herausgestellt, stets die Vorderseiten der Geflügelbeine 10 zu erfassen. Grundsätzlich ist es jedoch möglich, stets die Rückseiten der Geflügelbeine 10 zu erfassen. Die Vorrichtung umfasst weiter ein - in der Zeichnung nicht gezeigtes - erstes neuronales Netz, das zum Lokalisieren der knöchernen Teile in dem Geflügelbein 10 ausgebildet ist. Das erste neuronale Netz ist zuvor mittels des erfindungsgemäßen Verfahrens zum Trainieren eines neuronalen Netzes für das Lokalisieren von in einem Geflügelbein vorhandenen knöchernen Teilen trainiert worden.

Die erfindungsgemäße Vorrichtung umfasst weiter eine - in der Zeichnung nicht gezeigte - Eingabeeinheit, die eingerichtet ist, die Digitalbilder als Eingabedaten an das erste neuronale Netz sequenziell bereitzustellen. Mit anderen Worten erhält das erste neuronale Netz vorzugsweise die Digitalbilder der Vorderseiten der Geflügelbeine 10 als Eingangsdaten. Das entsprechend trainierte erste neuronale Netz ist eingerichtet, basierend auf diesen Eingabedaten Positionsdaten 31 der knöchernen Teile zu ermitteln und dieser ermittelten Positionsdaten 31 zur Anzeige und/oder Weitergabe an eine nachgeordnete Maschine 26 zur Bearbeitung der Geflügelbeine 10 auf Basis der ermittelten Positionsdaten 31 bereitzustellen.

Die Schritte des Verfahrens gehen ergänzend aus dem Blockschaltbild gemäß Figur 5 hervor. Die mittels der Fördereinrichtung 23 in Förderrichtung 16 geförderten Geflügelbeine 10 passieren den ersten optischen Bildgeber 24, mittels dessen zu gegebenen Zeitpunkten Digitalbilder 25 der Vorder- oder Rückseiten der Geflügelbeine 10 erfasst werden. Optional werden die Digitalbilder 25 einer Vorverarbeitung 28 unterzogen sowie anschließend deren Ausrichtung geprüft. Wie gesagt, ist die Vorverarbeitung 28 der Digitalbilder 25 ebenso wie Durchführung der Schritte 29, 30 rein optional. Auf wei- tere Details der vorgenannten Schritte wird weiter unten eingegangen. Grundsätzlich ist es also möglich, die Digitalbilder 25 ohne weitere Vorverarbeitung im Schnitt 27 als Eingabedaten für das erste neuronale Netz sequenziell bereitzustellen. Wie zuvor beschrieben, erfolgt dann im Schritt 27 die Ermittlung der Positionsdaten 31 mittels des ersten neuronalen Netzes. Weiter bevorzugt wird jedenfalls zum Aufnahmezeitpunkt der optischen Bilddaten das Geflügelbein 10 beleuchtet, vorzugsweise mittels Blitzlichts.

Die Gestalt des neuronalen Netzes kann vielfältig sein. Grundsätzlich kommen sämtliche mehrschichtigen Netze in Betracht. Als besonders vorteilhaft bezüglich der Erkennungsgenauigkeit bei gleichzeitig vertretbarem algorithmischem Aufwand hat sich eine Netzstruktur mit 29 Schichten erwiesen. Von diesen 29 Schichten sind vorzugweise sechzehn zweidimensionale Faltungsschichten. Weiter bevorzugt sind die Faltungsschichten in vier Blöcke aufgeteilt, welche jeweils von einer Max- Pooling- und einer Dropout-Schicht gefolgt werden. Vorteilhafterweise werden mit Ausnahme der letzten Schicht, bei der eine Sigmoid-Funktion verwendet wird, alle anderen Schichten mit Hilfe einer Rectifier-Funktion aktiviert.

Die Eingangsschicht des ersten neuronalen Netzes bildet vorzugsweise eine Eingangsschicht, die eingerichtet ist, die Digitalbilder mit einer Auflösung von vorzugsweise 300 x 300 Pixeln zu verarbeiten. Die Ausgabeschicht des ersten neuronalen Netzes umfasst bevorzugt vierzehn Knoten, die jeweils die x- und y-Koordinaten der sieben Referenzpunkte 20 repräsentieren. Weiter bevorzugt ist das erste neuronale Netz eingerichtet, sämtliche Berechnungen unter Nutzung der Fließkommaarithmetik auszuführen. Insbesondere erfolgen die Berechnungen mittels Fließkommazahlen, bevorzugt vom Typ „float“, mit einer Auflösung von 16 oder 32 Bit. Weiter bevorzugt ist das erste neuronale Netz mittels einer Vielzahl von Prozessoren zur parallelläufigen Berechnung ausgebildet.

Vorzugsweise umfassen die Referenzpunkte 20 jeweils zwei Punkte zur Kennzeichnung von Oberschenkel 11 und Unterschenkel 12 sowie drei Punkte zur Kennzeichnung der Kniescheibe. So kennzeichnen die Oberschenkelreferenzpunkte 20a, 20b die Lage des Oberschenkelknochens 11 , die Unterschenkelreferenzpunkte 20c, 20d die Position des Unterschenkelknochens 12 und die Kniescheibenreferenzpunkte 20e, 20f und 20g die Lage der Kniescheibe. Selbstverständlich ist die vorliegende Erfindung nicht auf die genannte Anzahl an Referenzpunkten 20 beschränkt. Vielmehr ist es möglich, auch mehr Referenzpunkte 20 vorzugeben.

Weiter bevorzugt bilden die Oberschenkelreferenzpunkte 20a, 20b sowie die Unterschenkelreferenzpunkte 20c, 20d jeweils Punktpaare. Diese Punktpaare kennzeichnen vorzugsweise die Position der Knochenendbereiche 21. Vorzugsweise bilden die Kniescheibenreferenzpunkte 20e, 20f, 20g eine Punktwolke 22, deren Punkte Randposition der Kniescheibe referenzieren. Die Punktwolke 22 umfasst mindestens einen der Kniescheibenreferenzpunkte 20e, 20f, 20g. Vorzugsweise umfasst die Punktwolke 22 jedoch die in Figur 3 gezeigten drei Kniescheibenreferenzpunkte 20e, 20f, 20g, die den Rand der Kniescheibe referenzieren. Alternativ ist es möglich, dass die Punktwolke 22 - wie eingangs erwähnt - nur einen Punkt umfasst, vorzugsweise nur den oberen Kniescheibenreferenzpunkt 20g oder einen - in der Zeichnung nicht gezeigten - Punkt, der in der Mitte der Kniescheibe liegt.

Gemäß einer weiteren bevorzugten Ausführung der Erfindung umfasst die Punktwolke 22 jedenfalls zwei der Referenzpunkte 20e, 20g, nämlich einen unteren Kniescheibenreferenzpunkt und einen oberen Kniescheibenreferenzpunkt.

Das erfindungsgemäße Verfahren umfasst bevorzugt auch das Ermitteln eines Schneidlinienverlaufes aus den bereitgestellten Positionsdaten mittels einer - in der Zeichnung nicht gezeigten - Steuereinheit der nachgeordneten Maschine 26. Mittels der Steuereinheit der nachgeordneten Maschine 26 wird ein steuerbeweglich eingerichtetes Messer entlang dieses Schneidlinienverlaufes bewegt, um das Geflügelbein 10 zu entbeinen. Durch Kenntnis der Positionen der knöchernen Teile in dem Geflügelbein 10 ist es möglich einen optimalen Schneidlinienverlauf zu ermitteln, um möglichst wenig Restfleisch an den jeweiligen Knochen zu belassen, gleichzeitig jedoch zu verhindern, dass das Messer in die knöchernen Teile selbst schneidet.

Figur 6 zeigt ein Flussdiagramm zu der eingangs angesprochenen Vorverarbeitung 28. Der Schritt 28 besteht vorzugsweise darin, dass die Digitalbilder 25 zunächst einer Linsenkorrektur 38 unterzogen werden. Anschließend erfolgt vorteilhafterweise die Hintergrundmaskierung 39, um den Bildbereich freizustellen, in dem das Geflügelbein 10 sichtbar ist. Weiter bevorzugt wird in einem nächsten Downsampling-Schritt 40 die Auflösung des Digitalbildes reduziert, beispielsweise auf eine Auflösung von 300 x 300 oder vorzugsweise 100 x 100 oder 128 x 128 Pixeln. Die vorliegende Erfindung ist je- doch nicht auf die genannten Auflösungen beschränkt. Vielmehr kann jede andere Auflösungsreduzierung zur Anwendung kommen. Optional erfolgt anschließend eine Farbkonversion 41 , beispielsweise in ein BGR- oder Graustufenbild. Zur Anpassung des Digitalbildes 25 zur Eingabe an das erste neuronale Netz erfolgt anschließend vorzugsweise eine Konvertierung in Fließkommazahlen mittels eines Fließkommakonvertierungsschrittes 42.

Weiter bevorzugt werden die erfassten Digitalbilder 25 der Geflügelbeine 10 vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz einer in Figur 5 gezeigten Beinseitenerkennungseinrichtung 32 zugeführt. Diese ist eingerichtet, eine Beinseitenerkennung durchzuführen und festzustellen, ob das jeweilige der Digitalbilder 25 von einem rechten oder einem linken Geflügelbein stammt. Um den Trainingsaufwand und die algorithmische Komplexität des ersten neuronalen Netzes so gering wie möglich zu halten, ist dieses vorzugsweise nur auf einen Typ der Geflügelbeine 10, nämlich entweder linke oder rechte Geflügelbeine 10 trainiert. Um eine zuverlässige Erkennung der knöchernen Teile mittels des ersten neuronalen Netzes zu gewährleisten, ist es daher erforderlich, die Digitalbilder 25 von den „richtigen“ Geflügelbeinen 10 zu erstellen, also beispielsweise immer von linken Geflügelbeinen, wenn das neuronale Netz zuvor mit linken Geflügelbeinen 10 trainiert worden ist.

Vorteilhafterweise sind das erfindungsgemäße Verfahren sowie die Vorrichtung eingerichtet, automatisch zu ermitteln, ob das aufgenommene Digitalbild 25 von einem rechten Geflügelbein 10 oder einem linken Geflügelbein 10 stammt. Falls das Digitalbild 25 nicht mit einer vorgegebenen Beinseite übereinstimmt, ist die Beinseitenerkennungseinrichtung 32 eingerichtet, die Bilddaten des jeweiligen Digitalbilds 25 an einer virtuellen Achse zu spiegeln, um das Digitalbild 25 eines rechten Geflügelbeins 10 in ein scheinbares Digitalbild 25 eines linken Geflügelbeins 10 und umgekehrt umzuwandeln.

Ist das erste neuronale Netz beispielsweise mit linken Geflügelbeinen 10 trainiert worden, so wird mittels der Beinseitenerkennungseinrichtung 32 das Digitalbild 25 nicht verändert, falls diese erkennt, dass es sich um ein linkes Geflügelbein 10 handelt. Die Weitergabe des Digitalbildes 25 erfolgt dann, wie in Figur 5 gezeigt, über den Signalflusspfeil 34. Andernfalls wird das Digitalbild 25 entlang des Signalflusspfeils 35 geleitet, um im Schritt 33, wie zuvor beschrieben, gespiegelt zu werden. Das Digitalbild 25 gelangt so entlang der Signalflusspfeile 34 oder 36 entweder direkt als Eingabe an das erste neuronale Netz zum Lokalisieren der knöchernen Teile im Schritt 27 oder nach der Bildspiegelung.

Vorzugsweise erfolgt die Beinseitenerkennung mittels eines zweiten neuronalen Netzes, das mit Bildern von Geflügelbeinen 10 der vorgegebenen Beinseite trainiert worden ist, also beispielsweise mit linken Beinen. Die Beinseitenerkennungseinrichtung 32 umfasst also bevorzugt das zweite neuronale Netz. Wird ein Digitalbild 25 erkannt, das der vorgegebenen Beinseite entspricht, so bleibt das Digitalbild 25 - wie zuvor beschrieben - unverändert. Erkennt das zweite neuronale Netz nicht die vorgegebene Beinseite, wird das Digitalbild 25 gespiegelt.

Weiter bevorzugt werden die Digitalbilder 25 der Geflügelbeine 10 vor dem Bereitstellen als Eingabedaten an das erste neuronale Netz und/oder vor der Beinseitenerkennung einer Vorder-/Rückseitenerkennungseinrichtung 37 zugeführt. Die Vorder-/Rück- seitenseitenerkennungseinrichtung 37 ist ausgebildet, festzustellen, ob das jeweilige der Digitalbilder 25 die Vorderseite oder die Rückseite des Geflügelbeins 10 zeigt. Falls das Digitalbild 25 nicht mit einer vorgegebenen Vorder-/Rückseite übereinstimmt, ist diese eingerichtet, eine Drehung des Geflügelbeines 10 derart zu veranlassen, dass dieses mit der jeweils anderen Seite zu dem ersten optischen Bildgeber 24 gerichtet ist. Dieser Vorgang ist schematisch in der Figur 8 dargestellt.

Die Fördereinrichtung 16 umfasst hierzu eine Vielzahl an Hängeaufnahmen 43, die jeweils zur Aufnahme eines der Geflügelbeine 10 ausgebildet und eingerichtet sind. Die Hängeaufnahmen 43 sind jeweils schwenksteuerbeweglich um deren Hochachse 44 ausgebildet. In der Seitenansicht der Fördereinrichtung 16 in Figur 8 ist eine solche Hängeaufnahme 43 im Detail gezeigt. Sofern mittels der Vorder-Rückseitenerken- nungseinrichtung 37 festgestellt worden ist, dass das jeweilige Geflügelbein 10 nicht mit der gewünschten Seite zu dem ersten optischen Bildgeber 24 gerichtet war, veranlasst diese die jeweilige Hängeaufnahme 43 der Fördereinrichtung 16, eine 180°-Dre- hung im Schritt 46 auszuführen. Anschließend wird mittels eines zweiten optischen Bildgebers 45, der dem ersten optischen Bildgeber 24 bezüglich der Förderrichtung 16 nachgeordnet ist, die nun zu dem zweiten optischen Bildgeber 45 zeigende Geflügelbeinseite erfasst.

Vorzugsweise erfolgt die Vorder-/Rückseitenseitenerkennung mittels eines dritten neuronalen Netzes, das mit Bildern von Geflügelbeinen der vorgegebenen Vorder-/Rück- seite trainiert worden ist. Die Vorder-/Rückseitenerkennungseinrichtung umfasst folglich vorzugsweise das dritte neuronale Netz.

Die Aufgabe wird durch ein nichtflüchtiges computerlesbares Speichermedium, umfas- send ein Programm, das Anweisungen umfasst, um den Computer zu veranlassen, das Verfahren zum Lokalisieren von in dem Geflügelbein 10 vorhandenen knöchernen Teilen auszuführen, gelöst.

Gemäß einer vorteilhaften Ausbildung der Erfindung umfassen die Objektive der opti- sehen Kamera 14 sowie der ersten und zweiten optischen Bildgeber 24, 45 Polarisationsfilter. Diese sind dazu ausgebildet, mögliche Reflexionen zu reduzieren, die beispielsweise durch feuchte oder nasse Oberflächen der Geflügelbeine 10 entstehen.