An adaptive method to robustify ML estimation in Cluster Weighted Modeling

Abstract Cluster-Weighted Models are a wide family of mixture distributions for modeling the joint probability of data coming from a heterogeneous population, and includes mixtures of distributions and mixtures of regressions as special cases. Unfortunately, they suffer from non-regular maximum likelihood issues, due to possible spikes and unboundedness in the target function. We propose an improved version of the Gaussian Cluster-Weighted estimation methodology, by trimming a portion α of the data and imposing constraints to the estimated variances. Trimming provides robustness properties to the estimators and constraints move the maximization problem to a well-posed setting and allow to avoid spurious solutions, i.e. fitting a small localized random pattern in the data rather than a proper underlying cluster structure. Theoretical results are illustrated using a few empirical studies

I modelli Cluster Weighted sono una ampia famiglia di misture che comprendono, come casi particolari, le misture di distribuzioni e di regressione e consentono di modellizzare dati eterogenei. Per questi modelli si osservano problemi di non regolarità della funzione di verosimiglianza, che può essere illimitata e avere spikes. In questo lavoro si introduce un nuovo metodo di stima del Cluster Weighted Gaussiano, che consente di eliminare una porzione α di dati contaminati e di imporre vincoli alla stima delle matrici di covarianza. Le proprietà di robustezza degli stimatori sono assicurate dall’eliminazione degli outliers, e la stima vincolata fa sì che il problema di massimizzazione sia ben posto e riduce le soluzioni spurie, ovvero l’adattarsi del modello ad un piccolo raggruppamento casuale di dati invece che ad una vera e propria componente della mistura. I risultati teorici sono illustrati anche mediante alcune analisi empiriche