Simulation-based methods for blind maximum-likelihood filter identification

Olivier Cappé, Arnaud Doucet, Marc Lavielle, Eric Moulines

Abstract: Blind linear system identification consists in estimating the parameters of a linear time-invariant system given its (possibly noisy) response to an unobserved input signal. Blind system identification is a crucial problem in many applications which range from geophysics to telecommunications, either for its own sake or as a preliminary step towards blind deconvolution (i.e. recovery of the unknown input signal). This paper presents a survey of recent stochastic algorithms, related to the expectation–maximization (EM) principle, that make it possible to estimate the parameters of the unknown linear system in the maximum likelihood sense. Emphasis is on the computational aspects rather than on the theoretical questions. A large section of the paper is devoted to numerical simulations techniques, adapted from the Markov chain Monte Carlo (MCMC) methodology, and their efficient application to the noisy convolution model under consideration. Zusammenfassung Die blinde Identifikation linearer Systeme bedeutet die Schätzung der Parameter eines linearen zeitinvarianten Systems bei gegebener (möglicherweise verrauschter) Systemantwort auf ein nicht beobachtetes Eingangssignal. Die blinde Systemidentifikation ist eine wichtige Aufgabe in vielen Anwendungen – von der Geophysik bis zur Telekommunikation – entweder als Endzweck oder als Vorstufe zur blinden Entfaltung (d.h. Rückgewinnung des unbekannten Eingangssignals). Diese Arbeit präsentiert eine Übersicht über kürzlich vorgeschlagene stochastische Algorithmen, welche mit dem Erwartungswert-Maximierungs (EM) Prinzip verwandt sind. Diese Algorithmen ermöglichen die Schätzung der Parameter des unbekannten linearen Systems im Maximum-Likelihood-Sinn. Das Hauptaugenmerk liegt eher auf den rechnerischen Aspekten als auf den theoretischen Fragen. Ein großer Teil der Arbeit behandelt numerische Simulationsverfahren, die von der Markov Chain Monte Carlo (MCMC) Methode abgeleitet sind, sowie deren effiziente Anwendung auf das betrachtete verrauschte Faltungsmodell. Résumé L’identification autodidacte consiste à estimer la réponse impulsionnele d’un système linéaire (invariant dans le temps) uniquement à partir d’observations bruitées de la sortie du système. L’estimation autodidacte est un élément clé de nombreuses applications allant de la géophysique aux télécommunications. Cet article présente une revue des méthodes d’optimisation stochastique liées à l’algorithme EM et de leur utilisation pour l’estimation au sens du maximum de vraisemblance dans les problèmes d’identification autodidacte. L’article met l’accent sur les questions algorithmiques, avec en particulier une large place faite à la mise en oeuvre de l’approche de simulation par chaı̂ne de Markov dans le cas des modèles linéaires bruités partiellement observés.