Nous présentons ici une nouvelle méthode pour une co-factorisation bi-modale en matrices non-négatives. Cette méthode est adaptée aux situations où deux modalités sont liées par une même information sous-jacente. Elle permet une co-factorisation dite douce, qui prend en compte la relation entre les modalités tout en évitant l’hypothèse forte d’un même facteur en commun. Cette méthode n’impose pas que les données associées à chaque modalité aient la même dimension ou soient exprimées dans un même espace. La co-factorisation est obtenue par résolution d’un problème d’optimisation, via une méthode de majoration-minimisation ; puis une application au regroupement multimodal de locuteurs est présentée, où la co-factorisation douce sert à exploiter la corrélation entre les pistes audio et vidéo dans des débats télévisés.