Compression d`images

Compression
F. Dufaux
Généralités
Quantif.
Compression d’images
Méthodes
prédictives
JPEG
Frédéric Dufaux
Département Traitement du Signal et des Images
TELECOM ParisTech
26 janvier 2011
1 / 91
Plan
Compression
F. Dufaux
Généralités
1
Généralités sur la compression d’images
2
Quantification
3
Méthodes prédictives
4
Codage par Transformée
5
JPEG
Quantif.
Méthodes
prédictives
JPEG
2 / 91
Plan
Compression
F. Dufaux
Généralités
1
Généralités sur la compression d’images
2
Quantification
3
Méthodes prédictives
4
Codage par Transformée
5
JPEG
Quantif.
Méthodes
prédictives
JPEG
3 / 91
Représentation des images numériques
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
Grille discrete, image N × M pixels
A chaque pixel (m, n), on associe un ordre de traitement k
Généralement, balayage ligne par ligne unilatéral :
k = (n − 1)M + m
On notera indifféremment fn,m ou fk
m
JPEG
M
n
fn,m = fk
N
4 / 91
Représentation des images numériques
Images couleurs : Format RVB
Compression
F. Dufaux
Images en couleurs : trois composantes, chacune représentée
comme une image en niveaux de gris.
Généralités
Quantif.
Méthodes
prédictives
JPEG
5 / 91
Représentation des images numériques
Espaces de couleurs
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Espace RGB
Espace HSV
6 / 91
Représentation des images numériques
Images couleurs : Format YUV
Compression
F. Dufaux
Images en couleurs : une composante de luminance et deux de
chrominance (sous-échantillonnées).
Généralités
Quantif.
Méthodes
prédictives
JPEG
7 / 91
Pourquoi comprimer ?
Exemple 1 : Libraire de photos numériques
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Images à 10 Megapixel
Trois composantes couleur
Un octet par composant
Occupation mémoire : 30 Mo par photo
Publication sur le Web ?
8 / 91
Pourquoi comprimer ?
Exemple 2 : Télévision
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
système analogique
⇒ bande de fréquence : 6 MHz
système numérique
1 composante de luminance 576 × 720
2 composantes de chrominance 288 × 360
quantification sur 8 bits
25 images par seconde
R ≈ 125 Mbps
⇒ bande de fréquence ?
2 heures de film > 100 Go
9 / 91
Fondements de la compression
Compression
F. Dufaux
Généralités
POURQUOI EST-IL POSSIBLE DE COMPRIMER ?
Quantif.
Méthodes
prédictives
JPEG
Redondance statistique des données
homogénéité des images
similitude entre images successives
Redondance psychovisuelle
sensibilité aux baisses fréquences
effets de masquage
autres limites du système visuel humain
Un algorithme de compression (ou codage) doit exploiter
au maximum la redondance des données
10 / 91
Algorithmes de compression
Types d’algorithme
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Algorithmes sans perte (lossless)
Reconstruction parfaite
Basés sur la redondance statistique
Faible rapport de compression
Algorithmes avec perte (lossy)
Image reconstruite 6= image originale
Basés sur la quantification
Redondance psychovisuelle : “visually lossless”
Rapport de compression élevé
11 / 91
Critères de performance
Débit
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Rapport (taux) de compression
T =
Bin
Bout
=
Rin
Rout
Débit de codage
Image : R =
Bout
NM
Video, son : R =
[bpp]
Bout
T
[bps]
Codage d’image sans perte : T ≤ 3
Codage d’image avec perte : T ≈ 5 →?
Codage vidéo avec perte : T ≈ 20 →?
12 / 91
Critères de performance
Qualité et distorsion
Compression
F. Dufaux
Le seul débit n’est pas suffisant pour évaluer un algorithme avec
pertes
Il faut déterminer la qualité ou la distorsion de l’image reconstruite
Généralités
Quantif.
Méthodes
prédictives
JPEG
Les Critères objectifs sont fonctions mathématiques de
fn,m : image d’origine ; et
e
fn,m : image reconstruite après compression
Critères objectifs non perceptuels
Erreur quadratique moyenne (MSE) :
PN PM
D = N1M n=1 m=1 (fn,m − e
fn,m )2
Rapport signal sur bruit crête : PSNR = 10 log10
2552
D
Critères objectifs perceptuels
On utilise des modèles du SVH pour prendre en compte la
sensibilité aux fréquences, les masquages, ...
13 / 91
Évaluation de la qualité
Aspects psychovisuels
Compression
F. Dufaux
Exemple
Image Originale, 24 bpp
Généralités
Quantif.
Méthodes
prédictives
JPEG
14 / 91
Évaluation de la qualité
Aspects psychovisuels
Compression
F. Dufaux
Bruit blanc σ = 4
Généralités
Image Originale, 24 bpp
Erreur dispersée, MSE = 16.00
Quantif.
Méthodes
prédictives
JPEG
15 / 91
Évaluation de la qualité
Aspects psychovisuels
Compression
F. Dufaux
Bruit concentré sur 100 × 100 pixels
Généralités
Image Originale, 24 bpp
Erreur concentrée, MSE = 16.00
Quantif.
Méthodes
prédictives
JPEG
16 / 91
Évaluation de la qualité
Aspects psychovisuels
Compression
F. Dufaux
Bruit concentré sur les contours (estimation par filtre de Sobel)
Généralités
Contours de l’image
Erreur concentrée sur les contours, MSE = 16.00
Quantif.
Méthodes
prédictives
JPEG
17 / 91
Évaluation de la qualité
Aspects psychovisuels
Compression
F. Dufaux
Bruit sur les hautes fréquences spatiales
Généralités
Image Originale, 24 bpp
Erreur en frequence, MSE = 16.00
Quantif.
Méthodes
prédictives
JPEG
18 / 91
Évaluation de la qualité
Aspects psychovisuels
Compression
F. Dufaux
Sous-échantillonnement dans l’espace des couleurs
Généralités
Image Originale, 24 bpp
Sous−echantillonement en couleur, MSE = 21.27
Quantif.
Méthodes
prédictives
JPEG
19 / 91
Critères de performance
Qualité et distorsion
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Les Critères subjectifs sont basés sur l’évaluation de la
qualité des image faite par des humaines
Difficulté de créer un bon modèle du SVH
Analyse statistique des résultats
Évaluations longues, difficiles et coûteuses
En conclusion, souvent on se limite à utiliser les critères
objectifs non perceptuels :
Simplicité
Interprétation géométrique (norme euclidienne)
Optimisation analytique
Relation avec la qualité perçue ?
20 / 91
Critères de performance
Complexité, retard et robustesse
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
La complexité d’un algorithme de codage peut être limitée
par :
contraintes liées à l’application (temps réel)
limités du matériel (hardware)
coût économique
Le retard est normalement mesuré au codeur
Lié à la complexité
Influencé par l’ordre de codage
Robustesse: sensibilité de l’algorithme de
compression/reconstruction à des petites altérations du
code comprimé (erreurs de transmission)
21 / 91
Critères de performance
Bilan
Compression
F. Dufaux
Généralités
Quantif.
Besoins contradictoire :
Méthodes
prédictives
JPEG
⇓ Débit
⇑ Qualité
⇓ Complexité
⇑ Robustesse
⇓ Retard
22 / 91
Outils fondamentaux pour la compression
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
Codage entropique
JPEG
Quantification
Transformée
Prédiction
23 / 91
Plan
Compression
F. Dufaux
Généralités
1
Généralités sur la compression d’images
2
Quantification
3
Méthodes prédictives
4
Codage par Transformée
5
JPEG
Quantif.
Méthodes
prédictives
JPEG
24 / 91
Quantification
Definition
Compression
F. Dufaux
Q : x ∈ R → y ∈ C = {x̂1 , x̂2 , . . . x̂L }
Généralités
Quantif.
x̂7
Méthodes
prédictives
x̂6
JPEG
x̂5
d0 d1
d2
d3 d4
d5
d6 d7 d8
x̂4
x̂3
x̂2
x̂1
25 / 91
Quantification
Definition
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Q : x ∈ R → y ∈ C = {x̂1 , x̂2 , . . . x̂L }
C : Dictionnaire
R = log2 L : Débit
E = X − Q(X ) : Bruit
de quantification
2
D = E (X − Q(X )) = E E 2 : Distortion
Θi = {x : Q(x) = x̂i } : Régions.
Evaluation d’un quantificateur : courbe D(R)
26 / 91
Quantification
Compression
F. Dufaux
Généralités
Typiquement,
Quantif.
1) Θi = (di −1 , di )
Méthodes
prédictives
2) x̂i ∈ Θi
JPEG
d0
di −1
di
dL
x̂i
Θi
27 / 91
Quantification uniforme
Compression
F. Dufaux
di = di −1 + ∆
di +di −1
2
Généralités
x̂i =
Quantif.
Simple
Méthodes
prédictives
Minimize l’erreur maximale
JPEG
Optimale pour v.a. uniforme
Courbe D(R) pour une v.a. uniforme :
D = σX2 2−2R
Courbe D(R) pour une v.a. non uniforme en haute résolution :
D = KX σX2 2−2R
28 / 91
Quantification optimale
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Pour une densité de probabilité fX (x) donnée, determiner le
quantificateur qui minimize la distorsion pour un débit donné.
Problème equivalent à determiner les seuils di et les niveaux x̂i .
Solutions :
Solution analytique en haute résolution: D = hX σx2 2−2R
Si l’hypothese de haute résolution est fausse, on peut
atteindre un minimum local de la distorsion avec
l’algorithme de Max-Lloyd
29 / 91
Quantification optimale
Algorithme de Max-Lloyd
Compression
F. Dufaux
Algorithme de Max-Lloyd
Généralités
1
initialiser les régions (p.e. uniforme)
Quantif.
2
trouver les meilleures régions pour le dictionnaire donné
Méthodes
prédictives
di =
JPEG
x̂i + x̂i +1
,
2
i ∈ {1, . . . , L − 1}
3
trouver le meilleur dictionnaire pour les régions données
R
Θ xfX (x)dx
x̂i = E [X |X ∈ Θi ] = R i
Θi fX (x)dx
4
boucler en 2 jusqu’à la convergence
30 / 91
Débit de codage
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
2 possibilités pour coder les niveaux de quantification
codes de longueur fixe
b bits par niveau avec log2 (L) ≤ b < log2 (L) + 1
codes de longueur variable
bi bits pour coder x̂i P
entropie : H(x) = − Li=1 pi log2 (pi ) avec pi = P(x = x̂i )
P
longueur moyenne : b = Li=1 bi pi ≥ H(x)
code d’Huffman : b < H(x) + 1
⇒ plus performant
31 / 91
Quantification uniforme
Exemple de quantification
Compression
Image Originale, 24 bpp
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
32 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 21 bpp
PSNR 47.19 dB
TC 1.143
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
33 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 18 bpp
PSNR 42.38 dB
TC 1.333
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
34 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 15 bpp
PSNR 36.97 dB
TC 1.600
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
35 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 12 bpp
PSNR 31.40 dB
TC 2.000
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
36 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 9 bpp
PSNR 29.26 dB
TC 2.667
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
37 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 6 bpp
PSNR 27.83 dB
TC 4.000
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
38 / 91
Quantification uniforme
Exemple de codage
Compression
Débit 3 bpp
PSNR 25.75 dB
TC 8.000
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
39 / 91
Conclusion
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Quantification : au centre de la compression avec perte
Operation non reversible
Centrale dans le compromis débit-distorsion
Approximations à haute résolution:
D ∼ 2−2R
D ∼ σ2
La seule quantification est insuffisante à assurer des bonnes
performances de compression
40 / 91
Plan
Compression
F. Dufaux
Généralités
1
Généralités sur la compression d’images
2
Quantification
3
Méthodes prédictives
4
Codage par Transformée
5
JPEG
Quantif.
Méthodes
prédictives
JPEG
41 / 91
Codage prédictive
Principes
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
La seule quantification est peu efficace pour la compression
Modèle soujacent trop simple : pixels indépendants et
d’égales importances
Idée : exploiter la correlation entre pixel par une prédiction
Réduction de la variance
42 / 91
Schéma de codage
Schéma simplifié
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Le pixel fk depend de ses voisins
Si on connaît les voisins de fk , on les utilise pour le prédire
Si on fait un bonne prédiction, b
fk ≈ fk
e
e
fk
ek
ek
fk
Q
b
fk
b
fk
Comment on fait la prédiction ?
Qu’est-ce qu’on gagne ?
43 / 91
Schéma de codage
Schéma MICD (DPCM) complet
Compression
Encodeur :
F. Dufaux
fk
ek
Généralités
Quantif.
b
fk
Méthodes
prédictives
e
ek
Q
P
JPEG
e
fk
e
ek
b
fk
Décodeur :
e
fk
e
ek
b
fk
P
e
fk
44 / 91
Gain de prédiction
Compression
F. Dufaux
Erreur sur la prédiction = erreur sur le signal :
Généralités
Quantif.
Méthodes
prédictives
JPEG
k = e
ek − ek = e
ek + b
fk − (ek + b
fk ) = e
fk − fk
Gain de codage :
SNRp = 10 log 10
σf2
σf2
σe2
=
10
log
+
10
log
= GP + GQ
10
10
¯2
σe2
¯2
La prédiction doit produire un signal d’erreur dont la variance
est inférieure à la variance du signal d’origine
45 / 91
Prédicteurs
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
b
fk est obtenu à partir des pixels “précédents" et
doit pouvoir être synthétisé au décodeur
⇒b
fk = P({e
f` }`≤k−1 )
On s’intéressera aux prédicteurs linéaires : simples et optimaux
dans le cas Gaussien
Souvent P({e
f` }`≤k−1 ) = e
fk−1
46 / 91
Schéma de codage
Choix du prédicteur
Compression
Généralement, P : filtre RIF 2D
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
b
fn,m =
X
(i ,j)∈S
hi ,j e
fn−i ,m−j
S : support causal demi-plan asymétrique
typiquement, S = {(0, 1), (1, 0), (1, 1)}
Représentation équivalente :
b
fk = hT f (k)
f (k) = {e
fn−i ,m−j : (i, j ) ∈ S}
h2
h1
h3
fk
47 / 91
Schéma de codage
Choix du prédicteur
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Problème :
Trouver le vecteur (filtre linéaire) h qui minimize :
i
h
σe2 = E (fk − hT f (k) )2
en faisant l’hypothèse que e
fn,m ' fn,m
48 / 91
Conclusions
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
Méthode simple de mise en œuvre
mais performances limitées en codage d’images
JPEG
introduit une causalité non naturelle en 2D
code les pixels séparemment
Très efficace pour exploiter la redondance spatiale de la vidéo
49 / 91
Plan
Compression
F. Dufaux
Généralités
1
Généralités sur la compression d’images
2
Quantification
3
Méthodes prédictives
4
Codage par Transformée
5
JPEG
Quantif.
Méthodes
prédictives
JPEG
50 / 91
Principes
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Transformation linéaire : changement de base
Représentation alternative de l’image
Mise en évidence des caractéristiques
Séparation des données entre importants et pas importants
Déterminer les informations importantes pour le SVH
Réduire la corrélation
Allocation des ressources
51 / 91
Transformée 1d
Compression
F. Dufaux
Paradigme du codage par transformée
Généralités
g1
Quantif.
Méthodes
prédictives
JPEG
f
g
g2
Q1
ge1
Q2
ge2
T
gN
QN
e
g
T−1
ef
gf
N
On passe du vecteur f à g = Tf : on veut un vecteur plus
“facile” à quantifier : peu de coefficients “importants”, beaucoup
de coefficients “insignifiants”
52 / 91
Transformations unitaires
Compression
T unitaire ⇒ T−1 = TH
F. Dufaux
avantages :
Généralités
Quantif.
Méthodes
prédictives
JPEG
1
inversion immédiate
2
conservation de la norme : kgk = kfk
⇒ Distorsion sur g = distorsion sur f :
h
i
h
i
E kg − gk2 = E (g − g)H (g − g) = E (f − f)H T H T (f − f)
= E kf − fk2
Propriété fondamentale pour décider l’allocation des ressource
dans le domaine transformée
53 / 91
Transformations linéaires en 2D
Forme vectorielle
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Forme vectorielle
vecteurs lignes : fn = [fn,1 , . . . , fn,M ]T ∈ RM
vecteur image : f = [f1T , . . . , fNT ]T ∈ RN×M
g = Tf
T ∈ C(N M, N M) : matrice de transformation
54 / 91
Transformations linéaires en 2D
Définition – Forme scalaire
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
Forme scalaire
(fn,m )1≤n≤N,1≤m≤M : image d’origine
(gk,` )1≤k≤N,1≤`≤M : image transformée
JPEG
g = Tf
⇒
gk,` =
N X
M
X
t(k, `, n, m)fn,m
n=1 m=1
t(k, `, n, m) : tenseur de transformation
55 / 91
Transformations linéaires en 2D
Forme scalaire de la transformée inverse
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Dans l’hypothese de transformée unitaire,
f = TH g
⇒
fn,m =
N X
M
X
t 0 (k, `, n, m)gk,`
n=1m=1
t 0 (k, `, n, m) : tenseur de transformation inverse
56 / 91
Transformations linéaires en 2D
Forme matricielle
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Formematricielle (si T inversible)

f1,1 . . . f1,M


..
[f] =  ...

.
fN,1 . . . fN,M
 0

t (1, 1, k, `) . . . t 0 (1, M, k, `)


..
[t0 ]k,l =  ...

.
t 0 (N, 1, k, `) . . . t 0 (N, M, k, `)
N X
M
X
[f] =
gk,` [t0 ]k,`
k=1 `=1
(gk,` )1≤k≤N,1≤`≤M : coefficients de la décomposition de [f]
sur la base {[t0 ]k,` , 1 ≤ k ≤ N, 1 ≤ ` ≤ M}
57 / 91
Transformations linéaires en 2D
Forme matricielle
Compression
F. Dufaux
Transformée de Hadamard 8 × 8
Généralités
Quantif.
Méthodes
prédictives
JPEG
58 / 91
Transformations linéaires en 2D
Forme matricielle
Compression
F. Dufaux
Transformée DCT 8 × 8
Généralités
Quantif.
Méthodes
prédictives
JPEG
59 / 91
Transformations linéaires en 2D
Transformation de Karhunen-Loève (TKL)
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Définition : transformation permettant de décorréler les données
Rg = E{ggH } : matrice diagonale
On utilise la diagonalisation de la matrice de correlation Rf : si
les composantes de f sont linéairement indépendantes, Rf est
définie positive et admet la représentation :
Rf = UΛUT
où : U = u1 u2 . . . uN matrice des vecteurs propres
orthonormaux et Λ = Diag(λ1 , . . . , λN ) est la matrice diagonale
des valeurs propres.
La TKL est définie par :
T = UT
60 / 91
Transformations linéaires en 2D
Propriété de la TKL
Compression
Transformation unitaire
F. Dufaux
TH T = I
Généralités
Quantif.
Méthodes
prédictives
JPEG
Transformation décorrélante
E[gi gj ] = λi δij
Meilleure concentration des énergies :
∀T transformée unitaire, si
g = UT f et h = Tf alors
N
X
i=1
g¯i2 ≥
N
X
h¯i2
i=1
Transformée optimale pour variables Gaussiennes
61 / 91
Transformations linéaires en 2D
Bilan de la TKL
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Avantages
Décorrélation
Concentration des énergies
Optimale dans le cas gaussien
Inconvénients
Dépendante des données
Complexité élevée
Difficulté de l’estimation
Images naturelles : non stationnaires
La TKL est rarement utilisée dans la compression d’image,
excepté des cas particuliers
62 / 91
Transformations linéaires en 2D
Transformées basées sur la décomposition fréquentielle
Compression
Transformations plus simples
F. Dufaux
Asymptotiquement équivalentes (N, M → ∞)
Généralités
Quantif.
TFD
Méthodes
prédictives
JPEG
t(k, `, n, m) = √
(n − 1)(k − 1)
1
(m − 1)(` − 1)
exp −ı2π
+
N
M
NM
TCD
(2n − 1)(k − 1)
(2m − 1)(` − 1)
ck c`
cos π
cos π
t(k, `, n, m) = √
2N
2M
NM
(
1
si k = 1
ck = √
2 sinon
63 / 91
Transformations linéaires en 2D
Transformées basées sur la décomposition fréquentielle
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
TCD et TFD
caractéristiques communes
séparables : t(k, `, n, m) = t1 (k, n) t2 (`, m)
algorithmes de calcul rapides
interprétations fréquentielles
k : indice de fréquence verticale
` : indice de fréquence horizontale
spécificités de la TCD
réelle
meilleure concentration de l’information que la TFD
existence d’autres transformations plus simples mais
moins efficaces
64 / 91
DFT vs DCT
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Coeff
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
DCT
% Energy
74.61
24.98
0.05
0.30
0.00
0.04
0.00
0.01
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
Coeff
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
DFT
% Energy
74.61
7.86
2.04
0.97
0.60
0.43
0.35
0.31
0.30
0.31
0.35
0.43
0.60
0.97
2.04
7.86
Original and reconstructed signal with the best 3 coeffs
18
Reconstructed by DCT, 99.89% of energy
Original signal
Reconstructed by DFT, 90.33% of energy
16
14
12
10
8
6
4
2
0
0
5
10
15
65 / 91
Exemples de TCD
Fréquences spatiales
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
4.5
4.5
4
4
3.5
3.5
3
3
2.5
2.5
2
2
1.5
1.5
1
1
0.5
0.5
66 / 91
TCD par blocs
Compression
F. Dufaux
Généralités
Quantif.
image non stationnaire et de taille élevée
⇒ découpage en I × J blocs rectangulaires
(Bi ,j )0≤i <I ,0≤j<J , de taille K × L (K = L = 8)
Méthodes
prédictives
4
JPEG
3.5
3
2.5
2
1.5
1
0.5
0
N=IK
M =JL
67 / 91
Allocation des ressource pour les coefficients TCD
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
On applique à chaque élément (k, `) du bloc Bi ,j un
quantificateur Qk,l de Lloyd-Max ayant bk,` bits
((k, `) = (1, 1) → loi uniforme, (k, `) 6= (1, 1) → loi de Laplace)
problème : trouver b = (bk,` )1≤k≤K ,1≤`≤L minimisant
K L
1 XX
E{(gi ,j (k, `) − gei ,j (k, `))2 }
D(b) =
KL
k=1 `=1
K
L
1 XX
bk,` = b̄ et bk,` ∈ N
sous les contraintes
KL
k=1 `=1
en supposant que
E{(gi ,j (k, `) − gei ,j (k, `))2 } ∝ Var{gi ,j (k, `)}/22bk,`
68 / 91
Algorithme d’allocation de bits
Compression
F. Dufaux
Donnez les ressources à ceux qui en ont besoin !
Généralités
Quantif.
Méthodes
prédictives
1
bk,` = 0, (k, `) ∈ {0, . . . , K − 1} × {0, . . . , L − 1}
2
calculer (k0 , `0 ) minimisant
D((bk,` + δk−k0 ,`−`0 )0≤k<K ,0≤`<L )
3
bk0 ,`0 = bk0 ,`0 + 1
4
si
JPEG
K
−1X
L−1
X
bk,` < K L b̄
k=0 `=0
alors retour 2
Formule analytique en hypothèse de haute résolution
69 / 91
Plan
Compression
F. Dufaux
Généralités
1
Généralités sur la compression d’images
2
Quantification
3
Méthodes prédictives
4
Codage par Transformée
5
JPEG
Quantif.
Méthodes
prédictives
JPEG
70 / 91
Standard de codage JPEG
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Norme de compression d’images basée sur la TCD
Spécifiée en 1991, adoptée en 1992
Normalise l’algorithme et le format de decodage
On va parler d’un codeur à niveaux de gris, produisant un
train binaire conforme
71 / 91
Standard JPEG
Schéma
Compression
F. Dufaux
replacements
Généralités
Quantif.
Méthodes
prédictives
TCD
Quantif.
Codage
sans perte
JPEG
L’image est préalablement découpée en blocs 8 × 8
On soustrait 128 aux valeurs de luminance
Les blocs sont codés indépendamment
72 / 91
JPEG
Découpage par blocs
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Exemple de bloc 8x8
173
171
184
170
157
149
147
160
171
169
158
156
147
146
141
122
171
150
139
134
125
132
119
117
143
137
120
119
127
120
119
116
109
112
110
117
103
113
111
115
100
101
107
104
109
107
101
116
91
94
94
98
90
101
100
102
96
96
100
99
98
93
92
95
73 / 91
JPEG
TCD 2d
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
La taille de la TCD est 8 × 8
Petits blocs → signal stationnaire
Grands blocs → exploit de la corrélation
Taille choisie après des experiences
Coefficients TCD : impact SVH
74 / 91
JPEG
TCD
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Coefficients TCD du bloc considerée
985.3
40.3
6.3
-0.0
2.1
1.3
5.1
-5.6
186.2
47.8
4.0
4.9
-1.3
3.7
0.4
1.6
34.1
5.7
-9.3
-13.3
-1.6
2.4
3.1
4.4
11.6
-26.0
-6.7
-20.8
0.6
-2.7
4.8
0.1
7.3
-5.3
-1.2
-10.4
3.6
-2.2
-1.4
3.3
1.6
-3.5
8.1
-1.0
3.3
-3.0
2.5
2.3
4.9
4.0
3.4
-4.5
8.1
-4.1
9.8
4.3
-8.2
-1.0
4.1
-5.1
-1.7
7.8
5.3
-8.4
75 / 91
JPEG
TCD
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Ecart-type des coefficients TCD d’une image naturelle
396.64
100.23
49.42
30.82
21.09
15.32
11.22
8.21
100.99
55.78
36.39
24.05
16.79
11.91
8.58
6.65
49.26
37.40
28.01
19.73
14.79
10.31
7.66
5.93
31.15
24.77
20.40
15.47
11.54
8.71
6.78
5.52
19.74
16.44
14.64
11.99
9.19
7.15
5.69
4.45
14.57
11.70
10.46
8.88
7.30
5.78
4.64
3.75
8.76
8.44
7.64
6.83
5.90
4.61
3.82
3.15
7.33
6.25
5.88
5.45
4.68
3.91
3.24
2.80
76 / 91
JPEG
Quantification et allocation de débit
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Quantification uniforme à zone morte
j k
c
e
ci ,j = qii,j,j
Le compromis débit distorsion est complètement géré par
le tableau de quantification q
Le standard ne spécifie pas q, qui doit être transmis
Facteur de qualité Q
77 / 91
JPEG
Quantification et allocation de débit
Compression
F. Dufaux
Exemple de table de quantification
Généralités
Quantif.
Méthodes
prédictives
JPEG
16
12
14
14
q∗ =
18
24
49
72
11
12
13
17
22
35
63
92
10
14
16
22
37
55
78
95
16
19
24
29
56
64
87
98
24
26
40
51
68
81
101
112
40
58
57
87
109
104
121
100
51
60
69
81
103
111
120
103
61
55
56
61
77
90
100
99
78 / 91
JPEG
Facteur de qualité
Compression
F. Dufaux
Généralités
Quantif.
Outil non normatif
“Facteur de qualité” Q variable entre 1 et 100
Definit un facteur d’echelle SF pour la matrice de
quantification
Méthodes
prédictives
800
JPEG
700
1 ≤ Q ≤ 50
50 < Q ≤ 99
Q = 100
600
500
SF

5000

 Q
SF = 200 − 2Q


1
400
300
200
100
0
0
20
40
60
80
100
Q
q←
SF q ∗ − 50
100
79 / 91
JPEG
Quantification et allocation de débit
Compression
F. Dufaux
Coefficients quantifiés avec la table précédente
Généralités
Quantif.
Méthodes
prédictives
JPEG
61
3
0
0
0
0
0
0
16
3
0
0
0
0
0
0
3
0
0
0
0
0
0
0
0
-1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
80 / 91
JPEG
Quantification
Compression
F. Dufaux
1
1
2
2
3
3
4
4
5
5
6
6
7
7
Généralités
Quantif.
Méthodes
prédictives
JPEG
8
8
1
2
3
4
5
Original
6
7
8
1
2
3
4
TCD → Q →
5
Q −1
6
7
8
→ TCD−1
81 / 91
JPEG
Codage sans perte
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Zig-zag scan : concentre les coefficients nuls à la fin du
balayage
82 / 91
JPEG
Codage sans perte
Compression
F. Dufaux
Généralités
Quantif.
Coefficent DC : codage predictif + Huffman
Méthodes
prédictives
Coefficients AC : codage “run-lenght” + Huffman
JPEG
coeff6= 0 n. de 0
coeff6= 0 n. de 0
...
EOB
...
83 / 91
JPEG
Codage de un bloc
Compression
F. Dufaux
Coefficients quantifiés et codés
Généralités
Quantif.
Méthodes
prédictives
JPEG
61
3
0
0
0
0
0
0
61-dck−1
16
3
0
0
0
0
0
0
0,16
3
0
0
0
0
0
0
0
0
-1
0
0
0
0
0
0
0,3
0
0
0
0
0
0
0
0
1,3
0
0
0
0
0
0
0
0
0,3
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
7,-1
EOB
84 / 91
JPEG
Exemple de codage
Compression
Image Originale, 24 bpp
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
85 / 91
JPEG
Exemple de codage
Compression
Débit 1.0198674.2 bpp
PSNR 33.92 dB
TC 23.532
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
86 / 91
JPEG
Exemple de codage
Compression
Débit 0.7481384.2 bpp
PSNR 33.45 dB
TC 32.080
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
87 / 91
JPEG
Exemple de codage
Compression
Débit 0.5017404.2 bpp
PSNR 32.70 dB
TC 47.834
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
88 / 91
JPEG
Exemple de codage
Compression
Débit 0.3081364.2 bpp
PSNR 31.31 dB
TC 77.888
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
89 / 91
JPEG
Exemple de codage
Compression
Débit 0.2069704.2 bpp
PSNR 29.50 dB
TC 115.959
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
90 / 91
Conclusion
Compression
F. Dufaux
Généralités
Quantif.
Méthodes
prédictives
JPEG
Méthode assez efficace et bien maîtrisée (JPEG)
MAIS effets de bloc
91 / 91