Proposition de stage de Master 2 Recherche Informatique

Proposition de stage de Master 2 Recherche
Informatique Fondamentale
2014-2015
Contexte
Des travaux récents en Apprentissage Automatique, regroupés sous la dénomination d’apprentissage
profond, ou deep learning, ont permis des avancées majeures dans plusieurs champs applicatifs
majeurs, notamment pour des tâches perceptives comme la vision ou la reconnaissance de la parole.
L'apprentissage profond recouvre des modèles traitant l’information dans un certain nombre de
couches successives (jusqu’à une dizaine) similaires, mais d’assez loin quand même, aux multiples
stades de traitement de l’information dans le cerveau. Ces modèles possèdent certaines propriétés
particulièrement intéressantes : les représentations intermédiaires apprises par des réseaux de neurones
profonds (un modèle profond emblématique) dans leurs couches successives correspondraient à divers
niveaux d'abstraction des données d'entrée. Les architectures profondes apparaissent aujourd'hui
comme un paradigme de modélisation particulièrement puissant. Le deep learning a permis des
avancées majeures dans divers champs applicatifs tels que la reconnaissance de parole [Do et al.,
2010, Deng et al., 2013], l’interprétation d’images et la reconnaissance d’objets dans les images
[Farabet et al., 2013], le traitement de données textuelles.
L’apprentissage automatique et l’apprentissage profond en particulier sont de plus en plus des utilisés
pour analyser et interpréter des données d’imagerie cérébrale (IRM) ou de signaux électro-
encéphalogahiques (EEG). Des premiers travaux ont par exemple montré la faisabilité de la tâche dite
de brain reading, c’est-à-dire l’inférence du stimuli visuel (ce que l’une personne regarde) à partir
d’une image du cerveau [Palatucci et al., 2009, Pipenmakaporn et al., 2014]. Il a été montré par
ailleurs qu’il existait une correspondance entre les couches successives d’un réseau de neurones
profond et les aires successives de traitement de l’information visuelle [Guclu et al., 2015]. Les réseaux
profonds s’avèrent des outils particulièrement pertinents pour traiter des données de neurosciences.
L’application efficace des architectures profondes aux données d’imagerie cérébrale pose toutefois
quelques problèmes majeurs parmi lesquelles la variabilité inter-sujets et la variabilité inter-dispositifs
de mesure. La première de ces deux variabilités rend l’apprentissage d’un modèle à partir de données
de plusieurs utilisateurs difficile, la seconde pose problème pour l’apprentissage à partir de données
acquises dans des environnements différents. Cette situation est handicapante car les modèles
d’apprentissage automatique requièrent de nombreux exemples d’apprentissage pour être appris
efficacement.
Descriptif du sujet
Le sujet du stage consiste à étudier des stratégies d’apprentissage pour architectures profondes
permettant de faire face à la variabilité des données et notamment la variabilité inter-sujets. La tâche
considérée est une tâche de "Brain Reading" visant à deviner la tâche effectuée par le sujet scanné à
partir de son activité cérébrale sous forme de classification supervisée. On utilisera une grande base de
données, disponible à l’INT, issue d'expériences d'IRM fonctionnelles visant à appréhender les
processus de traitement de l'information vocale dans le cerveau. Cette base contient environ ~5000
images d’environ ~100 sujets.

La première partie du travail consistera à mettre en œuvre des architectures profondes simples sur cette
tâche en exploitant une librairie existante pour le deep learning : tensorflow ou torch.
Dans un second temps on s’intéressera à proposer des solutions au problème de variabilité. Certaines
pistes sont assez naturelles et consistent à détourner des solutions qui ont été proposées dans d’autres
situations. Par exemple on peut facilement apprendre un espace de représentation commune pour les
données de tous les sujets en projetant toutes leurs données dans un espace commun à partir duquel
une tâche supervisée, ce qui a été proposé pour le traitement de données mutlimodales [Srivastava et al.,
2014]). On peut apprendre la transformation des données d'un sujet à un autre sujet en s’appuyant sur
des autoencodeurs profondes ou sur des versions profondes d'outils d'analyse de données telles que
l’analyse canonique des corrélations et sa version profonde [Andrew et al., 2013]. D’autres
architectures profondes peuvent être imaginées pour capturer la variabilité sujet. Par exemple on peut
supposer que les spécificités cérébrales d'un sujet pourraient être caractérisés par quelques variables
latentes et apprendre et s’appuyer sur des modèles profonds à variables latentes pour modéliser
globalement toutes les données de tous les sujets.
Certaines des méthodes évoquées ci-dessus reposent sur un alignement de deux espaces de description
(les voxels) correspondant à deux sujets. L’exploitation d’outils classiques ne permet d'aligner les
données (les voxels d’un espace et les voxels d’un autre espace) que globalement sans prendre en
compte la plausibilité de cet alignement. Pourtant, si une question de neurosciences doit être attaquée
sur la base de ces modèles de transformation leur comportement doit intégrer de telles contraintes de
plausibilité. Cela peut être fait par l'adoption de schémas spécifiques de régularisation par blocs.
Références
[Andrew et al., 2013] Galen Andrew and Raman Arora and Karen Livescu and Jeff Bilmes, Deep Canonical Correlation
Analysis, International Conference on Machine Learning (ICML), 2013
[Bengio, 2009] Y Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, 2 :1-127,
2009.
[Deng et al, 2013] L Deng, J Li, JT Huang, K Yao, D Yu, F Seide, ML Seltzer, G Zweig, X He, J Williams, Y Gong & A
Acero. Recent advances in deep learning for speech research at Microsoft, ICASSP 2013.
[Do et al., 2010] T.M.T. Do & T. Artieres, Neural conditional random fields, Thirteenth International Conference on
Artificial Intelligence and Statistics (AISTAT), 2010.
[Farabet et al, 2013] C Farabet, C Couprie, L Najman & Y LeCun. Learning Hierarchical Features for Scene Labeling, IEEE
Transactions on Pattern Analysis and Machine Intelligence, August 2013.
[Kriegeskorte et al, 2009] N. Kriegeskorte, M. Mur, P. Bandettini. Representational similarity analysis – connecting the
branches of systems neuroscience. Front Syst Neurosci 2 : 1-28, 2009.
[Palatucci et al., 2009] Zero-Shot Learning with Semantic Output Codes, M. Palatucci, D. Pomerleau, G. Hinton, T. Mitchell
Neural Information Processing Systems (NIPS), 2009.
[Pipanmaekaporn et al., 2015] Luepol Pipanmaekaporn, Ludmilla Tajtelbom, Vincent Guigue, Thierry Artières, Designing
semantic feature spaces for brain-reading, ESANN 2015.
[Guclu et al., 2015] Umut Güçlü and Marcel A. J. van Gerven, Deep Neural Networks Reveal a Gradient in the Complexity
of Neural Representations across the Ventral Stream, The Journal of Neuroscience, 8 July 2015, 35(27).
[Srivastava et al., 2014] Nitish Srivastava and Ruslan Salakhutdinov, Multimodal Learning with Deep Boltzmann Machines,
Journal of Machine Learning Research, 2014, volume 15, pp 2949-2980.
Encadrants : T. Artières (LIF), S. Takerkart (Institut de Neurosciences de la
Timone, INT)
Poursuite en thèse : possibilité mais pas certitude
Indemnités de stages : standard