Proposition de stage de Master 2 Recherche Informatique Fondamentale 2014-2015 Contexte Des travaux récents en Apprentissage Automatique, regroupés sous la dénomination d’apprentissage profond, ou deep learning, ont permis des avancées majeures dans plusieurs champs applicatifs majeurs, notamment pour des tâches perceptives comme la vision ou la reconnaissance de la parole. L'apprentissage profond recouvre des modèles traitant l’information dans un certain nombre de couches successives (jusqu’à une dizaine) similaires, mais d’assez loin quand même, aux multiples stades de traitement de l’information dans le cerveau. Ces modèles possèdent certaines propriétés particulièrement intéressantes : les représentations intermédiaires apprises par des réseaux de neurones profonds (un modèle profond emblématique) dans leurs couches successives correspondraient à divers niveaux d'abstraction des données d'entrée. Les architectures profondes apparaissent aujourd'hui comme un paradigme de modélisation particulièrement puissant. Le deep learning a permis des avancées majeures dans divers champs applicatifs tels que la reconnaissance de parole [Do et al., 2010, Deng et al., 2013], l’interprétation d’images et la reconnaissance d’objets dans les images [Farabet et al., 2013], le traitement de données textuelles. L’apprentissage automatique et l’apprentissage profond en particulier sont de plus en plus des utilisés pour analyser et interpréter des données d’imagerie cérébrale (IRM) ou de signaux électroencéphalogahiques (EEG). Des premiers travaux ont par exemple montré la faisabilité de la tâche dite de brain reading, c’est-à-dire l’inférence du stimuli visuel (ce que l’une personne regarde) à partir d’une image du cerveau [Palatucci et al., 2009, Pipenmakaporn et al., 2014]. Il a été montré par ailleurs qu’il existait une correspondance entre les couches successives d’un réseau de neurones profond et les aires successives de traitement de l’information visuelle [Guclu et al., 2015]. Les réseaux profonds s’avèrent des outils particulièrement pertinents pour traiter des données de neurosciences. L’application efficace des architectures profondes aux données d’imagerie cérébrale pose toutefois quelques problèmes majeurs parmi lesquelles la variabilité inter-sujets et la variabilité inter-dispositifs de mesure. La première de ces deux variabilités rend l’apprentissage d’un modèle à partir de données de plusieurs utilisateurs difficile, la seconde pose problème pour l’apprentissage à partir de données acquises dans des environnements différents. Cette situation est handicapante car les modèles d’apprentissage automatique requièrent de nombreux exemples d’apprentissage pour être appris efficacement. Descriptif du sujet Le sujet du stage consiste à étudier des stratégies d’apprentissage pour architectures profondes permettant de faire face à la variabilité des données et notamment la variabilité inter-sujets. La tâche considérée est une tâche de "Brain Reading" visant à deviner la tâche effectuée par le sujet scanné à partir de son activité cérébrale sous forme de classification supervisée. On utilisera une grande base de données, disponible à l’INT, issue d'expériences d'IRM fonctionnelles visant à appréhender les processus de traitement de l'information vocale dans le cerveau. Cette base contient environ ~5000 images d’environ ~100 sujets. La première partie du travail consistera à mettre en œuvre des architectures profondes simples sur cette tâche en exploitant une librairie existante pour le deep learning : tensorflow ou torch. Dans un second temps on s’intéressera à proposer des solutions au problème de variabilité. Certaines pistes sont assez naturelles et consistent à détourner des solutions qui ont été proposées dans d’autres situations. Par exemple on peut facilement apprendre un espace de représentation commune pour les données de tous les sujets en projetant toutes leurs données dans un espace commun à partir duquel une tâche supervisée, ce qui a été proposé pour le traitement de données mutlimodales [Srivastava et al., 2014]). On peut apprendre la transformation des données d'un sujet à un autre sujet en s’appuyant sur des autoencodeurs profondes ou sur des versions profondes d'outils d'analyse de données telles que l’analyse canonique des corrélations et sa version profonde [Andrew et al., 2013]. D’autres architectures profondes peuvent être imaginées pour capturer la variabilité sujet. Par exemple on peut supposer que les spécificités cérébrales d'un sujet pourraient être caractérisés par quelques variables latentes et apprendre et s’appuyer sur des modèles profonds à variables latentes pour modéliser globalement toutes les données de tous les sujets. Certaines des méthodes évoquées ci-dessus reposent sur un alignement de deux espaces de description (les voxels) correspondant à deux sujets. L’exploitation d’outils classiques ne permet d'aligner les données (les voxels d’un espace et les voxels d’un autre espace) que globalement sans prendre en compte la plausibilité de cet alignement. Pourtant, si une question de neurosciences doit être attaquée sur la base de ces modèles de transformation leur comportement doit intégrer de telles contraintes de plausibilité. Cela peut être fait par l'adoption de schémas spécifiques de régularisation par blocs. Références [Andrew et al., 2013] Galen Andrew and Raman Arora and Karen Livescu and Jeff Bilmes, Deep Canonical Correlation Analysis, International Conference on Machine Learning (ICML), 2013 [Bengio, 2009] Y Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, 2 :1-127, 2009. [Deng et al, 2013] L Deng, J Li, JT Huang, K Yao, D Yu, F Seide, ML Seltzer, G Zweig, X He, J Williams, Y Gong & A Acero. Recent advances in deep learning for speech research at Microsoft, ICASSP 2013. [Do et al., 2010] T.M.T. Do & T. Artieres, Neural conditional random fields, Thirteenth International Conference on Artificial Intelligence and Statistics (AISTAT), 2010. [Farabet et al, 2013] C Farabet, C Couprie, L Najman & Y LeCun. Learning Hierarchical Features for Scene Labeling, IEEE Transactions on Pattern Analysis and Machine Intelligence, August 2013. [Kriegeskorte et al, 2009] N. Kriegeskorte, M. Mur, P. Bandettini. Representational similarity analysis – connecting the branches of systems neuroscience. Front Syst Neurosci 2 : 1-28, 2009. [Palatucci et al., 2009] Zero-Shot Learning with Semantic Output Codes, M. Palatucci, D. Pomerleau, G. Hinton, T. Mitchell Neural Information Processing Systems (NIPS), 2009. [Pipanmaekaporn et al., 2015] Luepol Pipanmaekaporn, Ludmilla Tajtelbom, Vincent Guigue, Thierry Artières, Designing semantic feature spaces for brain-reading, ESANN 2015. [Guclu et al., 2015] Umut Güçlü and Marcel A. J. van Gerven, Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream, The Journal of Neuroscience, 8 July 2015, 35(27). [Srivastava et al., 2014] Nitish Srivastava and Ruslan Salakhutdinov, Multimodal Learning with Deep Boltzmann Machines, Journal of Machine Learning Research, 2014, volume 15, pp 2949-2980. Encadrants : T. Artières (LIF), S. Takerkart (Institut de Neurosciences de la Timone, INT) Poursuite en thèse : possibilité mais pas certitude Indemnités de stages : standard