Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP
publicité
Etude de modèles variationnels et apprentissage de dictionnaires ZENG Tieyong Oct. 9, 2007 ZENG Tieyong, PhD Defense Université Paris Nord Page 1 Introduction Modèles variationnels + Dictionnaire Restauration/débruitage d’images Représentations parcimonieuse Seuillage par ondelettes Modèle de Rudin-Osher-Fatemi Modèle NL-means K-SVD Basis pursuit Matching Pursuit, OMP Décomposition d’images Modèle de R.O.F, Modèle de Meyer Analyse en composantes morphologiques (MCA) ZENG Tieyong, PhD Defense Université Paris Nord Page 2 Plan Dictionnaire et modèle Représentations parcimonieuses Résolution du Basis Pursuit Etude de deux modèles d’optimisation MP shrinkage Une approche statistique pour l‘apprentissage de dictionnaires Conclusion ZENG Tieyong, PhD Defense Université Paris Nord Page 3 Le modèle Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Nous considérons le problème du débruitage, une image de bruit, est observée en présence où: image idéale bruit blanc Gaussien On voudrait résoudre ce problème par le modèle pour un dictionnaire et la variation totale discrète: avec ZENG Tieyong, PhD Defense Université Paris Nord Page 4 Résolution du modèle Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Méthode de pénalisation où Algorithme de descente de gradient à pas optimal ZENG Tieyong, PhD Defense Université Paris Nord Page 5 Problème principal: choisir Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Dictionnaires non invariant par translations Dictionnaire de paquets d‘ondelettes, 2002 F.Malgouyres Dictionnaire de curvelettes, 2002 E.Candes & F.Guo Nouvelle approche Dictionnaire invariant par translations Considérer un sous-ensemble fini de Pour tout et , on définit Enfin, on utilise le dictionnaire ZENG Tieyong, PhD Defense Université Paris Nord Page 6 Dictionnaires de Gabor Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Gabor I Curvelet Gabor III Gabor II Filtre de Gabor Transformée de Fourier Petit, moyen, grand Paramètre définissant les dictionnaires Zones intéressantes ZENG Tieyong, PhD Defense Université Paris Nord Page 7 Expériences Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Zone 1 PSNR - 26.88 Presque les mêmes! PSNR - 20.81 Zone 2 Gabor III, II Gabor II, III: presque isotrope! Image bruitée curvelet moyen Gabor II moyen ZENG Tieyong, PhD Defense Université Paris Nord Page 8 Post-traitement pour l’algorithme K-SVD Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion L’algorithme K-SVD suppose que tous les patches d’images naturelles peuvent être représentés parcimonieusement dans un dictionnaire . Pour restaurer à partir de l’image bruitée cette méthode essaie de résoudre un problème de minimisation: La performance de débruitage constitue l’état de l’art Efface peu de détail Perd un peu de texture ZENG Tieyong, PhD Defense Université Paris Nord Page 9 Combien d'itérations pour la pénalisation du . Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Le modèle peut retrouver les informations perdues rapidement. Nombre d’itération k Choisir k au maximum de TV ! ROF k=1 TV: bruit+texture/structure ZENG Tieyong, PhD Defense Université Paris Nord Page 10 Algorithme de post-traitement Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion On peut proposer un algorithme de post-traitement Résultat de K-SVD Choisir k maximisant TV Dictionnaire de Gabor II ZENG Tieyong, PhD Defense Université Paris Nord Page 11 Expériences Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Niveau du bruit Image bruitée +4.89db Post-traitement +7.90db +8.49db ZENG Tieyong, PhD Defense Université Paris Nord Page 12 Analyse du modèle Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Supposons que est la solution du modèle En utilisant la théorie de l'optimisation, nous savons qu’il existe un vecteur de KuhnTucker tel que: Quand le dictionnaire contient seulement un élément il est intéressant de choisir: Dictionnaire ad-hoc , Courbure de l’image Lenna ZENG Tieyong, PhD Defense Université Paris Nord Page 13 Expérience sur le dictionnaire ad-hoc Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Débruitage avec le dictionnaire ad-hoc ROF ZENG Tieyong, PhD Defense Université Paris Nord Page 14 Expérience en décomposition d'image Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Image idéale Image bruitée Dictionnaire ROF Composante « texte » Composante « fond » ZENG Tieyong, PhD Defense Université Paris Nord Page 15 Expérience en débruitage d’image Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion ROF dictionnaire ZENG Tieyong, PhD Defense Université Paris Nord Mécanisme: Page 16 Plan Dictionnaire pour le modèle Représentations parcimonieuses Résolution du Basis Pursuit Etude de deux modèles d’optimisation MP shrinkage Une approche statistique pour l‘apprentissage de dictionnaires Conclusion ZENG Tieyong, PhD Defense Université Paris Nord Page 17 Variante du Basis Pursuit Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Données: une image , un dictionnaire But : chercher une représentation parcimonieuse Modèle du Basis Pursuit pour Nouvelle variante Pourquoi la nouvelle variante ? pour But Construire un algorithme efficace pour résoudre cette variante sous conditions : A. B. ZENG Tieyong, PhD Defense Université Paris Nord Page 18 Formulation duale et algorithme de point proximal Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Le problème pré-dual pour est On voudrait le résoudre par une méthode qui calcule également un de ses vecteurs de Kuhn-Tucker . Ce dernier est une solution de L'algorithme de point proximal prend la forme pour une séquence croissante et le convexe Les résultats généraux sur l'algorithme de point proximal garantiront que converge vers la solution de (P). Que peut-on dire pour des vecteurs correspondants de Kuhn-Tucker ? ZENG Tieyong, PhD Defense Université Paris Nord Page 19 L'algorithme principal Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Nous écrivons: où Nous proposons l'algorithme suivant : On peut montrer que : ZENG Tieyong, PhD Defense Université Paris Nord Page 20 Aspects importants Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion On peut calculer exactement: On peut calculer exactement: Le gradient de f est Lipschitz ! Il existe une constante telle que pour tous les , dans , on a toujours: ZENG Tieyong, PhD Defense Université Paris Nord Page 21 Algorithme d'Uzawa Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Nous pouvons résoudre la maximisation par l’algorithme de gradient projeté à pas constant. Pour trouver le la méthode d'Uzawa s’écrit: la régle d’Armijo ZENG Tieyong, PhD Defense Université Paris Nord Page 22 Description des expériences Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Nous utilisons le dictionnaire de cosinus locaux qui est symétrique, invariant par translations Pour évaluer la convergence, A. Mesure de parcimonie B. Mesure de régularité C. Mesure de fidélité aux données Temps D. correspondant à une décomposition et à une recomposition dans le dictionnaire ZENG Tieyong, PhD Defense Université Paris Nord Page 23 Algorithme de descente parallèle sur les coordonnées Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion L’algorithme de descente parallèle sur les coordonnées (PCD) résout le modèle du Basis Pursuit par Seuillage Itératif (IT) choisit toujours ZENG Tieyong, PhD Defense Université Paris Nord Page 24 Comparaison de la mesure de fidélité aux données Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Mesure de fidélité aux données ZENG Tieyong, PhD Defense Université Paris Nord Page 25 Comparaison de la mesure de régularité Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Mesure de régularité ZENG Tieyong, PhD Defense Université Paris Nord Page 26 Comparaison de mesure de parcimonie Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Mesure de parcimonie ZENG Tieyong, PhD Defense Université Paris Nord Page 27 Deux modèles d’optimisation dans Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Supposons que est normalisé, on cherche une représentation parcimonieuse d’une image bruitée: où Nous considérons deux modèles: où est un dictionnaire fini dans et ZENG Tieyong, PhD Defense Université Paris Nord Page 28 Résultats de stabilité Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion La cohérence mutuelle d’un dictionnaire normalisé est définie comme Résultat similaire pour ZENG Tieyong, PhD Defense Université Paris Nord Page 29 MP shrinkage hilbertien Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Fonction de seuillage générale Contrôlée par Contrôlée strictement par Seuillage doux Seuillage dur Identité Garrote non-négative Firm shrinkage Seuillage généralisé Seuillage dur Le saut est défini comme: ZENG Tieyong, PhD Defense Université Paris Nord Page 30 MP shrinkage Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Données : Un espace de Hilbert , une image bruitée un dictionnaire , fini, normalisé But: chercher une représentation parcimonieuse On propose un algorithme: MP shrinkage Seuillage par ondelettes MP ZENG Tieyong, PhD Defense Université Paris Nord Page 31 Aspects théoriques sur le MP shrinkage Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Théorème 2. Si la fonction est contrôlée par . Alors converge quand m tend à . Soient: Théorème 3. Si le saut de la fonction est strictement positif, alors le MP shrinkage s’arrête automatiquement après au plus de itérations, où est la partie entière. Théorème 4. Si la fonction est strictement contrôlée par . Alors quand , converge à la projection . Précisément, il existe une constante tels que: Théorème 5. Si la fonction est contrôlée par . Alors ZENG Tieyong, PhD Defense Université Paris Nord Page 32 Expérience Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion PSNR en fonction du nombre d’itérations M pour le seuillage doux et divers ZENG Tieyong, PhD Defense Université Paris Nord Page 33 Plan Dictionnaire pour le modèle Représentations parcimonieuses Résolution du Basis Pursuit Etude de deux modèles d’optimisation MP shrinkage Une approche statistique pour l‘apprentissage de dictionnaires Conclusion ZENG Tieyong, PhD Defense Université Paris Nord Page 34 Approche statistique pour l’apprentissage de dictionnaires Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion On note: le tore discret support des images l’espace des images une famille d’atomes locaux générant le dictionnaire translation des atomes sur le plan Nous considérons le modèle génératif suivant : où variable de Bernoulli, i.i.d, drapeau: présence/absence coefficient aléatoire , i.i.d, intensité bruit blanc But: étant donné , apprendre ZENG Tieyong, PhD Defense Université Paris Nord Page 35 Deux modèles : BEM et BGM Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Le modèle du Bernoulli-Exponentielle (BEM) est de loi exponentielle l’espace des paramètres La vraisemblance complète Le modèle de Bernoulli-Gaussien (BGM) est de loi gaussienne l’espace des paramètres ZENG Tieyong, PhD Defense Université Paris Nord Page 36 Problème d'identifiabilité Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion On se pose une question: Peut-on distinguer deux distributions sur Y données par deux paramètres différents ? Pour les deux modèles: sous conditions faibles, OUI ! BEM Relation d'équivalence: si et modulo une permutation sur les indices Prop. Si sont différentes, alors le BEM est identifiable dans BGM Résultat similaire. ZENG Tieyong, PhD Defense Université Paris Nord Page 37 De la vraisemblance aux MCMC Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion L'approche de maximum de vraisemblance calcule La méthode EM est itérative où est la loi a posteriori de (X, B) sachant Y avec Z est le facteur de normalisation et (E)-step, (M)-step est la mesure dominante. Nous pouvons approcher la loi a posteriori par MCMC: On génère une chaîne de Markov ergodique associée à ZENG Tieyong, PhD Defense Université Paris Nord Page 38 Champ moyen pour BGM Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion difficile à calculer Champ moyen: Considérer on approche par un produit de lois sur l’ensemble des lois produits sur est de loi Bernoulli est de loi et et telles que Ensuite nous prenons où K est la divergence de Kullback-Leibler. ZENG Tieyong, PhD Defense Université Paris Nord Page 39 L’équation de point fixe et mise à jour du paramètre Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Pour la divergence de Kullback-Leibler, la loi optimale satisfait une équation de point fixe Ensuite, l'étape de mise à jour du paramètre est donnée par Par conséquent, on a: ZENG Tieyong, PhD Defense Université Paris Nord Page 40 Expériences Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Ensemble d’apprentissage MCMC Dictionnaire idéal Champ moyen ZENG Tieyong, PhD Defense Université Paris Nord Page 41 Expériences sur le champ moyen Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Exemples dans l’ensemble d’apprentissage Dictionnaire idéal Champ moyen ZENG Tieyong, PhD Defense Université Paris Nord Page 42 Expériences sur le champ moyen Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Dictionnaire idéal Le champ moyen ZENG Tieyong, PhD Defense Université Paris Nord Page 43 Conclusion et discussion Introduction-Dictionnaire-Basis Pursuit-Stabilité-MP shrinkage-Apprentissage-Conclusion Autre dictionnaire de type Gabor PostPosttraitement traitement Dict. inv. par trans. Mécanisme Mécanisme Modèle de En utilisant la courbure Décomposition d’images Méthode d’optimisation MP shrinkage ZENG Tieyong, PhD Defense Université Paris Nord Plus d’images Variante Variantedu du BP BP Dictionnaire Dictionnaire Représentations parcimonieuses Vitesse de convergence Apprentissage de dictionnaires Parcimonie Comparaison avec des méthodes itératives Image naturelle Débruitage Page 44 Merci! ZENG Tieyong, PhD Defense Université Paris Nord Page 45 Gabor filtre ZENG Tieyong, PhD Defense Université Paris Nord Page 46 Détails de K-SVD ZENG Tieyong, PhD Defense Université Paris Nord Page 47 Régle d’Armijo Le principe de cet algorithme (pour la maximisation) est de définir L'algorithme emploie la mise à jour où pour négatif m tel que un fixé et pour le premier nombre entier non pour Nous avons limité notre recherche à et prenons: ZENG Tieyong, PhD Defense Université Paris Nord Page 48 Lenna pour post-traitement ZENG Tieyong, PhD Defense Université Paris Nord Page 49 Algorithme d’acceptation-rejet Soit une loi d’intérêt de densité sur le support de et une loi de proposition de densité . Alors, on peu simuler suivant telle que avec l’algorithme suivant ZENG Tieyong, PhD Defense Université Paris Nord Page 50 Champ moyen pour image naturelle ZENG Tieyong, PhD Defense Université Paris Nord Page 51
