Recherche d`images à grande échelle

Recherche d'images
à grande échelle
Matthijs Douze
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
Grenoble
1/18
Recherche d'images
1 million à 1 milliard
d'images
Bigimbaz
●
●
Images d'une même scène/objet
Changement d'échelle, recadrage,
occultations, etc.
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
2/18
Applications grand public
●
Gestion de photos personnelles
●
Publicité ciblée, visites guidées
Image (MMS...)
Bigimbaz
Page web
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
3/18
Détection de copies
●
Base d'objets volés
●
Copyright :
●
Image : base de photos de presse
●
Vidéo : UGC (Youtube, Dailymotion,...)
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
4/18
Reconnaissance de vidéos
●
Concours Trecvid
●
Recherche parmi 200 h de vidéo
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
5/18
Fondement : descripteurs locaux
●
Points caractéristiques d'une image
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
6/18
Descripteurs invariants
●
Point caractéristique → vecteur descripteur
●
calculé sur le voisinage du point
●
Lear : invariance par transformation affine 2D
[] []
116
70
⋮
130
≈
112
72
⋮
145
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
7/18
Sac de mots
●
Descripteur représenté par un « mot visuel » (numéro)
116
70
⋮
130
[]
18506
[]
18506
112
72
⋮
145
●
Image = « sac » de mots visuels
●
●
=
Représentation compacte & rapide
Lear : mot visuel affiné avec une signature binaire
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
8/18
Mise en correspondance
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
9/18
Par mot visuel
201 correspondances
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
240 correspondances
10/18
Par mot visuel + signature
83 correspondances
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
8 correspondances
11/18
Vérification géométrique
Différencie
vrai →
← faux
Lear : vérification sur toutes les images de la base
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
12/18
Résultats visuels
Requête
Base 1
Base 3
Base 2
Base 4
Perdu dans 1 M d'autres images
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
13/18
Résultats visuels (2)
Requête
BOF 2
Lear 1
BOF 5890
Lear 4
BOF 43064
Lear 5
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
14/18
Evaluation quantitative
1
0.8
mAP
0.6
0.4
BOF
HE+WGC
+burstiness
+MA
+SP
0.2
0
103
104
105
106
Nb d'images dans la base
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
15/18
Très grandes bases d'images
●
Bases « à l'échelle du web » : Flickr, Picasa,
Facebook, etc. > 100 M d'images
●
« Sac de mots » inadapté
●
2 techniques récentes
●
descripteurs plus compacts
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
16/18
Recherche de copies
dans 110 M d'images
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
17/18
Conclusion
●
Système approprié pour toutes tailles de base d'images
●
Recherche vidéo
●
Brevet
●
Commercialisation par la société Milpix
●
●
Expertise sur le logiciel
●
Adaptation & intégration
●
Support
Démo !
Recherche d'images à grande échelle, M. Douze, rencontres INRIA/industrie 12/6/09
18/18