Wiener-Filter-basierte Signalwiederherstellung mit gelernter Signal-zu-Rausch- Verhältnis-Abschätzung

Die vorliegende Offenbarung bezieht sich auf Verfahren und Vorrichtung zur Wiener-Filter-basierten Signalwiederherstellung, bei welchem ein Signal empfangen wird, ein Signal-zu-Rausch-Verhältnis des Signals für die Verwendung in einem Wiener-Filter-basierten Wiederherstellungsalgorithmus abgeschätzt wird und sodann mittels des Wiener-Filter-basierten Wiederherstellungsalgorithmus aus dem empfangenen Signal unter Berücksichtigung des abgeschätz- ten Signal-zu-Rausch-Verhältnisses ein ursprüngliches Signal wiederhergestellt wird, d.h. ein dem ursprünglichen Signal möglichst ähnliches (wiederhergestelltes) Signal. Allgemein werden auf Signal- oder Empfangswegen übertragene Signale verschlechtert, d. h. ein ursprüngliches oder originales Signal verfälscht einerseits durch nicht-ideale Übertragung auf einen entsprechenden Empfangssensor, mathematisch dargestellt durch eine nicht-ideale Abbildungsfunktion, und andererseits durch externe Störungen, mathematisch dargestellt durch ein Störsignal. Dadurch weicht das beobachtete oder empfangene Signal stets von dem originalen Signal ab. Üblicherweise wird daher eine Wiederherstellungsfilterfunktion auf das beobachtete Signal angewandt und ein wiederhergestelltes Signal erzeugt. Das wiederhergestellte Signal ist eine Schätzung des originalen Signals, da bei der Wahl der Wiederherstellungsfunktion verschiedene Annahmen getroffen werden müssen und somit eine perfekte Wiederherstellung nicht erreicht wird, und wird als wiederhergestelltes Signal dem originalen Signal in der weiteren Verwendung gleichgestellt.

Werden also beispielsweise mit einem Kamerasystem Bilder erfasst, kommt es dabei je nach Situation zu physikalisch bedingten Bildverschlechterungen. Einige Bildverschlechterungen lassen sich als lineare, verschiebungsinvariante Systeme formulieren und damit anhand ihrer Impulsantwort vollständig beschreiben. Beispiele hierfür sind unscharfe Aufnahmen, Bildfehler durch suboptimale Optiken, Bewegungsunschärfe und dergleichen. Das aufgenommene Bild als beobachtetes Signal entspricht dann systemtheoretisch betrachtet einer Faltung des ungestörten Bildes, des originalen Signals, mit der Impuls-ant- wort der vorliegenden Bildverschlechterung, der nicht-idealen Abbildungsfunktion. In solchen Fällen ist es, je nach Schwere der Bildverschlechterung und des vorliegenden Bildrauschens als zusätzliches Störsignal in gewissem Maße möglich mittels Bildwiederherstellungs- oder Restaurationsverfahren ein Bild als wiederhergestelltes Signal zu errechnen, das dem originalen Bild sehr nahekommt. In der Theorie ist diese Aufgabe durch das sog. Wiener-Filter optimal lösbar. In der Praxis hat das Wiener-Filter jedoch den entscheidenden Nachteil, dass das für die Filterung mit dem Wiener-Filter notwendige Signal-zu-Rausch- Verhältnis nicht bekannt ist und grundsätzlich nur geschätzt werden kann. Als Folge ist das Filterergebnis des Wiener-Filters in der Regel nicht zufriedenstellend und wird entsprechend im Allgemeinen nachbearbeitet, um ein besseres Ergebnis zu erhalten. In dem Artikel „A Data Driven Approach to A Priori SNR Estimation" von Suhadi S. et al., erschienen 2011 in den IEEE Transactions on Audio, Speech, and Language Processing 19, auf den Seiten 186 bis 195, wird das Wiener-Filter zur Signalverbesserung in der Sprachverarbeitung genutzt. Dabei werden zwei Faltungsnetze, sog. „convolutional neural networks" trainiert, die im Zeitsignal Bereiche mit und ohne Sprache detektieren können. Unter der Annahme, dass das Rauschen in beiden Bereichen ähnlich ist, kann durch Verrechnen der entsprechenden Signalanteile das Signal-zu-Rausch-Verhältnis, kurz SNR, geschätzt werden. Beispielsweise für Bildsignale ist dieser Ansatz jedoch nicht anwendbar, da hier das Wiener-Filter im Ortsfrequenzbereich beschrieben ist und nicht bezüglich einzelner Pixel oder Bildregionen.

In dem Artikel „An Iterative SNR Estimation Algorithm for Wiener Deconvolution of Self-Similar Images Distorted by Camera Shake Blurring" von Marcelo A. P. et al., erschienen 2008 in den Proceedings of the 8th Conference on Signal, Speech and Image Processing auf den Seiten 97 bis 100 wird zuerst eine initiale Schätzung des SNR verwendet, um mit dem Wiener-Filter das Eingabebild zu restaurieren. Das Ergebnisbild wird als wiederhergestelltes Bild mit dem Eingabebild im Sinne der Ähnlichkeit der Gradienten in x- und y-Richtung verglichen, um dann das SNR entsprechend anzupassen. Daraufhin folgt die nächste Iteration.

In dem Artikel „SNR-Aware Convolutional Neural Network Modelling for Speech Enhancement" von Fu S.-W. et al., erschienen 2016 in Interspeech auf den Seiten 3268 bis 3772, wird ein Sprachsignal von einem Faltungsnetzwerk verarbeitet, um damit insbesondere für jeden betrachteten Zeitabschnitt das SNR zu schätzen. Allerdings wird hier nur ein mittlerer Wert für das SNR geschätzt und nicht separate SNR-Werte für alle zur Verfügung stehenden Frequenzen, wie es für das Wiener-Filter erforderlich ist.

Es stellt sich somit die Aufgabe, die filterbasierte Signalwiederherstellung, insbesondere das Ergebnis einer Wiener-Filter-basierten-Signalwieder-herstel- lung zu verbessern.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.

Der im Folgenden vorgestellte Ansatz setzt dabei auf dem üblichen Signalmodell für Signalwiederherstellung auf wie es beispielsweise aus der Bildrestauration bekannt ist. Ein originales Signal wird durch eine nicht-ideale Abbildungsfunktion h transformiert, zusätzlich wird das transformierte Signal durch eine Störung n verfälscht und ergibt so das beobachtete bzw. empfangene Signal g. Das Anwenden einer Wiederherstellungsfunktion v auf das beobachtete bzw. empfangene Signal liefert ein wiederhergestelltes Signal s. Die Signale s, g, s sowie Funktionen h und v und die Störung n können dabei, wie typischerweise bei Bildsignalen der Fall, eine Abhängigkeit von einem Ort x aufweisen, in anderen Anwendungsbereichen beispielsweise auch eine Abhängigkeit von einer Frequenz f und dergleichen. Mit der vorgestellten Nomenklatur ergibt sich das Wiener-Filter für den Fall eines Bildsignals im Frequenzbereich entsprechend zu

Dabei beschreibt /7(f) = T{h(x)} die Übertragungsfunktion der Bildverschlechterung, also die Fouriertransformierte der Impulsantwort als nicht-ideale Abbildungsfunktion h(x). Um das Wiener-Filter nutzen zu können, muss wie bekannt, der Ausdruck SNR(f) = S _s s(f)/S _n n(f ) möglichst korrekt bestimmt bzw. abgeschätzt werden. Dabei bezeichnet S _ss (f) die nicht bekannte und damit abzuschätzende spektrale Leistungsdichte des ungestörten ursprünglichen Signals s und S _nn (f) die nicht bekannte und damit abzuschätzende spektrale Leistungsdichte beispielsweise eines Rauschens als Störung n.

Ein Aspekt des vorgestellten Ansatzes betrifft entsprechend ein Verfahren zur Wiener-Filter-basierten Signalwiederherstellung, auch als Daten-Signalwieder- herstellung bezeichenbar, mit den Verfahrensschritten des Empfangens eines Signals, dem beobachteten Signal g, einem Abschätzen des Signal-zu-Rausch- Verhältnisses für das Wiederherstellen des dem empfangenen Signal g zugrundeliegenden ursprünglichen Signals s in Form eines wiederhergestellten Signals s, und dem Erzeugen des wiederhergestellten Signals s aus dem empfangenen Signal g und dem abgeschätzten SNR. Die Verfahrensschritte werden dabei durch eine Signalverarbeitungseinheit, welche beispielsweise einen Mikroprozessor und entsprechende weitere elektronische Elemente enthalten kann, durchgeführt. Das Signal gehört dabei einem jeweiligen Signaltyp an, es kann sich also beispielsweise um ein Bildsignal, insbesondere ein ein- oder mehrka- naliges Bildsignal, und/oder ein Audiosignal, und/oder ein digitales Datenübertragungssignal handeln, bzw. das Signal kann jeweils ein oder mehrere Signale des entsprechenden Signaltyps „Bildsignal" und/oder „Audiosignal" und/oder „Datenübertragungssignal" umfassen. Entsprechend kann das empfangene Signal durch eine Bildsensoreinheit und/oder Audiosensoreinheit und/oder eine Datenübertragungseinheit erzeugt und/oder empfangen werden oder sein. Das Signal wird auf einem jeweiligen Empfangsweg empfangen, wobei das empfangene bzw. beobachtete Signal durch ein Verfälschen des ursprünglichen Signals durch bzw. auf dem Empfangsweg geformt ist. Das Verfälschen kann dabei durch die Natur des Empfangsweges selber erfolgen, welche dann durch die nicht-ideale Abbildungsfunktion h beschrieben ist, oder durch zusätzliche Störungen die durch den Störfaktor n beschrieben sind.

Das Abschätzen des Signal-zu-Rausch-Verhältnisses erfolgt für einen Wiener- Filter-basierten-Wiederherstellungsalgorithmus durch einen mittels eines maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus. Der mittels des maschinellen Lernverfahrens gewonnene Verarbeitungsalgorithmus kann ein neuronales Netzwerk sein oder umfassen, insbesondere ein tiefes neuronales Netzwerk mit zwei oder mehr, bevorzugt drei oder mehr versteckten Schichten. Es können aber auch andere maschinelle Lernverfahren wie beispielsweise eine pixelweise Supportvektorregression genutzt werden. Das Abschätzen erfolgt in Abhängigkeit, d. h. als Funktion einerfür das empfangene Signal berechneten spektralen Leistungsdichte S _gg .

Das Erzeugen des wiederhergestellten Signals s erfolgt aus dem empfangenen, d. h. beobachteten Signal g und dem für den Wiener-Filter-basierten Wiederherstellungsalgorithmus v abgeschätzten Signal-zu-Rausch-Verhältnis SNR mittels des Wiener-Filter-basierten Wiederherstellungsalgorithmus v. Dabei liegt das durch den in maschinellen Lernverfahren gewonnenen Verarbeitungsalgorithmus abgeschätzte Signal-zu-Rausch-Verhältnis SNR dem Wiener-Filter des Wiener-Filter-basierten Wiederherstellungsalgorithmus v zugrunde. Im Gegensatz zu bekannten Verfahren, bei welchen ein Ergebnis eines Wiener- Filter-basierten Wiederherstellungsalgorithmus nachträglich optimiert wird, setzt das hier vorgestellte Verfahren direkt an der Schwäche des Wiener-Filters an, nämlich an dem in der Praxis oft schwer korrekt zu schätzenden Signal-zu- Rausch-Verhältniss. Als Folge kommt die theoretische Optimalität des Wiener- Filters auch in praxisnahen Anwendungen voll zum Tragen - So haben verschiedene Experimente gezeigt, dass der hier vorgestellte Ansatz typischerweise das Wiederherstellen von Signalen in einer Qualität erreicht, welche die Leistungen bekannter Ansätze in gängigen Qualitätsmetriken um 10 %, d.h. 10 Prozentpunkte, übertrifft.

Entsprechend umfasst das Verfahren in einer vorteilhaften Ausführungsform auch ein Trainieren des mittels des maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus mit einer Vielzahl von Trainings-Signal-Daten-Paa- ren. Diese Trainings-Signal-Daten-Paare umfassen oder enthalten jeweils eine für ein Empfangs-Trainings-Signal des gleichen Signaltyps wie das später in der Anwendung empfangene Signal s berechnete spektrale Leistungsdichte und ein in Abhängigkeit eines Original-Trainings-Signals und eines vorgegebenen Rausch-Trainings-Signals berechnetes Trainings-Signal-zu-Rausch-Verhältnis. Das hier und im Folgenden beschriebene Trainieren kann dabei auch unabhängig von der Signalwiederherstellung selber, d. h. räumlich und/oder zeitlich getrennt von der eigentlichen Wiener-Filter-basierten-Signalwiederherstellung vorgenommen werden. Das hat den Vorteil, dass der mittels des maschinellen Lernverfahrens gewonnene Verarbeitungsalgorithmus in der Praxis schnell ein SNR schätzen kann, da einzig das beobachtete Signal zum Schätzen des jeweiligen SNR erforderlich ist. Da für das Trainieren auf sehr große bestehende Datenbanken von Signalen wie Bildern, Audiosignalen, und sonstigen Signalen und entsprechende nicht-ideale Abbildungsfunktionen wie Impulsantworten von Empfangswegen zurückgegriffen werden kann, ist ein solches Training auch praxistauglich.

In einer vorteilhaften Ausführungsform ist dabei vorgesehen, dass die bei dem Abschätzen für das empfangene Signal berechnete spektrale Leistungsdichte eine logarithmische Leistungsdichte ist, d. h. die berechnete spektrale Leistungsdichte nach dem Berechnen und vor dem weiteren Verarbeiten logarith- miert wird, und die bei dem Trainieren für das Empfangs-Trainings-Signal berechnete spektrale Leistungsdichte entsprechend eine logarithmische Leistungsdichte ist, so wie das in Abhängigkeit des Original-Trainings-Signals und des vorgegebenen Rausch-Trainings-Signals berechnete Trainings-Signal-zu- Rausch-Verhältnis ein logarithmisches Trainings-Signal-zu-Rausch-Verhältnis ist, das SNR also ebenfalls nach dem Berechnen vor einem weiteren Verarbeiten logarithmisiert wird. Es wird dann vor dem Wiederherstellen des ursprünglichen Signals das für den Wiener-Filter-basierten-Wiederherstellungs-algorith- mus abgeschätzte Signal-zu-Rausch-Verhältnis exponenziert, um durch das Lo- garithmisieren der Eingangsgröße induzierte Verfälschungen wieder zu kompensieren. Das hat den Vorteil, dass das maschinelle Lernverfahren, gerade, wenn es sich um ein neuronales Netz, insbesondere ein tiefes neuronales Netz, handelt, besser konvergiert, da gerade bei Bilddaten bei einem Schätzen der spektralen Leistungsdichte über das vorteilhafte Betragsquadrat der diskreten Fouriertransformation ein Konvergenzverhalten der genannten maschinellen Lernverfahren beeinträchtigt wird.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das jeweilige Empfangs-Trainings-Signal in Abhängigkeit des jeweils zugehörigen Original-Trainings-Signals, d. h. des Original-Trainings-Signals desselben Paares, und eines jeweiligen Impulsantwort-Trainings-Signals berechnet wird. Dadurch kann mit Zugriff auf die unterschiedlichen Datenbanken die Menge der Trainingsdaten nochmals in relevanter Weise gesteigert werden und somit die Leistungsfähigkeit des Verarbeitungsalgorithmus erhöht werden. Zusätzlich kann das jeweilige Empfangs-Trainings-Signal auch von dem vorgegebenen Rausch- Trainings-Signal abhängen.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das in Abhängigkeit des Original-Trainings-Signals und des vorgegebenen Rausch-Trai- nings-Signals berechnete (nichtlogarithmische) Trainings-Signal-zu-Rausch- Verhältnis den Quotienten der für das Original-Trainings-Signal berechneten spektralen Leistungsdichte mit der für das vorgegebene Rausch-Trainings-Sig- nal berechneten spektralen Leistungsdichte umfasst, insbesondere zu diesem Quotienten proportional ist oder der Quotient ist. Das SNR wird also mit dem Quotienten oder als der Quotient der jeweiligen spektralen Leistungsdichten abgeschätzt bzw. berechnet. Dies führt gerade in Kombination mit der im letzten Absatz geschilderten Berechnungsweise des Empfangs-Trainings-Signals mit der zugehörigen spektralen Leistungsdichte zu guten Wiederherstellungsergebnissen.

Ein weitere Aspekt betrifft eine Signalverarbeitungseinheit zur Wiener-Filter- basierten-Signalwiederherstellung, welche ausgebildet ist, ein Verfahren nach einer der geschilderten Ausführungsformen durchzuführen, also die Wiener- Filter-basierte Signalwiederherstellung und/oder das hierfür beschriebene Trainieren des mittels maschinellen Lernverfahrens gewonnenen Verarbeitungsalgorithmus.

Vorteile und vorteilhafte Ausführungsformen der Signalverarbeitungseinheit entsprechend dabei Vorteilen und vorteilhaften Ausführungsformen der jeweiligen Verfahren.

Die vorstehend in der Beschreibung, auch im einleitenden Teil, genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.

Dabei zeigen: Fig. 1 einen Signalweg für einen Empfangsweg mit anschließender Wiederherstellung gemäß einem bekannten Signalmodell; und

Fig. 2 einen schematischen Überblick über ein beispielhaftes Trainingsverfahren für einen mittels maschinellem Lernverfahren gewonnenen Verarbeitungsalgorithmus.

In den Figuren sind dabei gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.

In Fig. 1 ist ein allgemein bekanntes Signalmodell für eine Signalwiederherstellung dargestellt. Ein originales Signal s wird dabei auf dem Empfangsweg durch dessen spezifische Eigenschaften geformt, was durch eine nicht-ideale Abbildungsfunktion h modelliert wird, welche auf das originale Signal s beispielsweise durch eine Faltung angewandt wird. Das Signal wird zusätzlich durch eine externe Störung n additiv verfälscht, woraus sich insgesamt ein Signal g ergibt, welches dann beobachtet oder empfangen wird. Dieses beobachtete oder empfangene Signal g wird durch eine Wiederherstellungsfilterfunktion v, welche auch als Wiederherstellungsalgorithmus v bezeichnet werden kann, transformiert, so dass als Wiederherstellungsergebnis ein wiederhergestelltes Signal s, eine Schätzung des ursprünglichen oder originalen Signals s vorliegt. Mit Bildsignalen als beispielhafte Signale, und somit von einem Ort x abhängigen Signale bzw. Funktionen s, h, n, g, v, s ergibt sich das Wiener-Filter im Frequenzbereich zu der bereits vorgestellten Formel:

Entscheidend für die Qualität des Wiederherstellungsergebnisses ist die möglichst genaue Bestimmung des Signal-zu-Rausch-Verhältnisses SNR = S _s s/S _n n, wobei im vorliegenden Beispiel die jeweiligen Termini SNR, S _ss und S _nn über eine Fouriertransformation durch den Vektor x mit der Frequenz f verknüpft sind.

In Fig. 2 ist eine beispielhafte Ausführungsform eines Verfahrens zum Trainieren eines mittels maschinellem Lernverfahren gewonnenen Verarbeitungsalgorithmus, hier eines neuronalen Netzes 4>, schematisch dargestellt. Das neuronale Netz 4> wird dahingehend trainiert, dass, basierend auf einer Schätzung der spektralen Leistungsdichte S^des empfangenen Signals g, beispielsweise eines beobachteten Bildes g(x) das gesuchte SNR, im Fall eines ortsabhängigen Bildes g(x) das gesuchte SNR als SNR (f), abschätzt. Es gilt somit 4>(^) = SNR. Dabei gilt S _gg (f) = |T’(s ^r (x))| ² mit der Fouriertransformation T{.} und der Schätzung des Signal-zu-Rausch-Verhältnisses SNR. In Fig. 2 ist die Fouriertransformation T{.} beispielshaft als diskrete Fouriertransformation DFT {.} gewählt.

Im gezeigten Beispiel wird für das Trainieren des neuronalen Netzes 4> aus einer ersten Datenbank Dl ein originales Signal s, vorliegend ein Bild s(x) ausgewählt. Aus einer zweiten Datenbank D2, welche eine beliebige Signalverschlechterungsdatenbank sein kann, wird eine entsprechende Impulsantwort als nicht lineare Abbildungsfunktion h, hier h(x), ausgewählt. Das originale Signal s wird mit der Impulsantwort als nicht-idealer Abbildungsfunktion h gefaltet, um im Training die Signalverschlechterung zu simulieren. Für Bilddaten können beispielsweise die Bildverschlechterungsdatenbanken aus dem Artikel „Understanding and Evaluating Blind Deconvolution Algorithms" von Levin A. et al., erschienen 2009 in der IEEE Conference on Computervision and Pattern Recognition auf den Seiten 1964 bis 1971 oder aus dem Artikel „Edge-Based Blur Kernel Estimation using Patch Priors" von Libin Sun et al., erschienen 2013 in der IEEE International Conference on Computational Photography auf Seiten 1 bis 8, genutzt werden. Zu dem Faltungsergebnis wird die Störung n, beispielsweise als normal verteiltes Rauschen n(x) simuliert, addiert. Das Ergebnis ist ein simuliertes empfangenes Signal g, hier g(x). Von diesem simulierten empfangenen Signal g wird der Logarithmus des Betragsquadrates der diskreten Fouriertransformation DFT {.} berechnet, was das Eingangssignal log S _gg für das neuronale Netz 4> darstellt.

Zudem wird anhand des logarithmierten Quotienten log das später bei der Signalwiederherstellung von dem Verarbeitungsalgorithmus, hier dem neuronalen Netz 4>, geschätzte logarithmisierte Signal-zu-Rausch-Verhältnis log SNR berechnet, welches eine Referenzeingabe für das Training des neuronalen Netzwerks 4> bestimmt oder bildet.

Das Verwenden der Logarithmen log S^und log SNR zum Training des neuro- nalen Netzes statt S^und SNR dient der Reduktion der Dynamik der sich ergebenden Werte. Entsprechend muss nach der Auswertung von 4> der von dem neuronalen Netz 4> ausgegebene Wert exponenziert werden, und das Gesuchte, durch den Verarbeitungsalgorithmus gewonnene Signal-zu-Rausch- Verhältnis SNR ist dann gegeben durch

Die zur Rekonstruktion notwendige Übertragungsfunktion h bzw. deren Fou- riertransformierte H der Signalverschlechterung kann mit anderen existieren- den Verfahren berechnet werden. Handelt es sich bei den Signalen um Bilddaten, so kann beispielsweise bei Bewegungsunschärfe anhand der Daten eines Beschleunigungssensors oder eines Gyroskops des Aufnahmegerätes, beispielsweise eines Smartphones, geschätzt werden.