Big data / machine learning / data science / deep learning / intelligence artificielle : Enjeux et Opportunités Francis Bach Département d’Informatique de l’Ecole Normale Supérieure, Paris ÉCOLE NORMALE S U P É R I E U R E Petit déjeuner - ENS - 21 Novembre 2016 Une révolution big data / machine learning / data science / intelligence artificielle / deep learning ? Un nouveau contexte • Progrès techniques – Coûts de stockage, calcul et captage Loi de Moore - Processeurs Loi de Moore - Stockage Séquencage de l’ADN Une révolution big data / machine learning / data science / intelligence artificielle / deep learning ? Un nouveau contexte • Progrès techniques – Coûts de stockage, calcul et captage • Omniprésence des données – Sciences, industrie et vie personnelle – Volume, Variété, Vélocité, Véracité Une révolution big data / machine learning / data science / intelligence artificielle / deep learning ? Un nouveau contexte • Progrès techniques – Coûts de stockage, calcul et captage • Omniprésence des données – Sciences, industrie et vie personnelle – Volume, Variété, Vélocité, Véracité • Apprentissage à partir d’exemples – n observations en dimension d Moteurs de recherche - Publicité Marketing - Recommandation personalisée Reconnaissance d’objets visuels Photos personnelles Reconnaissance de musiques Bio-informatique • Protéines: Eléments essentiels de la vie des cellules • Données massives: 2 millions pour l’homme • Données complexes Astronomie Square Kilometer Array (2024): 109 Go par jour Sciences humaines Archives historiques Monsieur, Vous êtes averti de porter samedi prochain 26 janvier quarante écus dans un trou qui est au pied de la croix Montelay sous peine davoir la tête cassée à l’heure que vous y penserez le moins. Si lon ne vous rencontre point vous êtes assuré que le feu sera mis chez vous. Sil en est parlé à qui que ce soit la tête cassée vous aurez. Archives du Val dOise - 1737 Une révolution big data / machine learning / data science / intelligence artificielle / deep learning ? Un nouveau contexte • Progrès techniques • Coûts de stockage et de calculs • Omniprésence des données • Sciences, industrie et vie personnelle • Volume, Variété, Vélocité, Véracité • Apprentissage à partir d’exemples − n observations en dimension d • Statistique ou informatique? Un nouveau domaine scientifique ? Apprentissage statistique = “machine learning” • Statistique – Science des données – Contraintes computationnelles? • Informatique – Passage à l’échelle en prenant en compte les ressources – Garanties de généralisation? - Statistique + Informatique ⊃ Apprentissage - Domaine scientifique à part entière (conférence, journaux, etc.) Un nouveau domaine scientifique ? Apprentissage statistique = “machine learning” • Statistique – Science des données – Contraintes computationnelles? • Informatique – Passage à l’échelle en prenant en compte les ressources – Garanties de généralisation? • Statistique + Informatique ⊃ Apprentissage - Domaine scientifique à part entière (conférence, journaux, etc.) Un nouveau domaine scientifique ? Apprentissage statistique = “machine learning” • Statistique – Science des données – Contraintes computationnelles? • Informatique – Passage à l’échelle en prenant en compte les ressources – Garanties de généralisation? • Statistique + Informatique ⊃ Apprentissage – Domaine scientifique à part entière (conférences, journaux, etc.) Un nouvel enjeu / champ scientifique ? Data science = “science des données” • Ensemble de techniques / outils / théories – Intégralité de la chaı̂ne de traitement de données – Plusieurs disciplines scientifiques – Pas de communauté clairement identifiée – Captage / stockage – Physique, biologie, etc. – Base de données, informatique distribuée – Traitement – Machine learning, statistique – Visualisation Un nouvel enjeu / champ scientifique ? Data science = “science des données” • Ensemble de techniques / outils / théories – Intégralité de la chaı̂ne de traitement de données – Plusieurs disciplines scientifiques – Pas de communauté clairement identifiée • Captage / stockage – Physique, biologie, etc. – Bases de données, informatique distribuée • Traitement – Machine learning, statistique • Visualisation Nouveaux enjeux interdisciplinaires • Recherche méthodologique nourrie par les autres disciplines – Bio-informatique, traitement du signal, langage naturel, etc. – Dégager des méthodes quantitatives communes • Liens avec l’industrie – Problème et éthique de l’accès aux données Nouveaux enjeux interdisciplinaires • Recherche méthodologique nourrie par les autres disciplines – Bio-informatique, traitement du signal, langage naturel, etc. – Dégager des méthodes quantitatives communes • Liens avec l’industrie – Problème et éthique de l’accès aux données • Nouvelles expertises conjointes – Compétence mathématique avec pensée informatique – Compétence informatique avec formation mathématique Nouveaux enjeux technologiques Informatique distribuée Nouveaux enjeux scientifiques • Données avec grande variété et hétérogénéité – Générées par des machines et/ou des individus • Apprentissage supervisé bien maı̂trisé – – – – Passage à l’échelle par méthodes d’optimisation Gestion de la haute dimension à travers la parcimonie Filtrage collaboratif Apprentissage profond Apprentissage supervisé Une vue simplifiée – From Yann Le Cun’s lecture Apprentissage supervisé • Données: n observations (xi, yi) ∈ X × Y, i = 1, . . . , n Pd • Prédiction comme fonction linéaire hθ, Φ(x)i = j=1 θj Φj (x) de caractéristiques Φ(x) ∈ Rd • Minimisation de l’erreur d’entrainement: min θ∈Rd n 1X ℓ yi, hθ, Φ(xi )i n i=1 + µ Ω(θ) Attache aux données + • Main practical challenges −− Designing/learning good features Φ(x) −− Efficiently solving the optimization problem regulariseur Apprentissage supervisé • Données: n observations (xi, yi) ∈ X × Y, i = 1, . . . , n Pd • Prédiction comme fonction linéaire hθ, Φ(x)i = j=1 θj Φj (x) de caractéristiques Φ(x) ∈ Rd • Minimisation de l’erreur d’entrainement: min θ∈Rd n 1X ℓ yi, hθ, Φ(xi )i n i=1 + µ Ω(θ) Attache aux données + • Applications à tous les domaines scientifiques – Vision artificielle, bioinformatique – Traitement du langage naturel, etc. regulariseur Apprentissage supervisé • Données: n observations (xi, yi) ∈ X × Y, i = 1, . . . , n Pd • Prédiction comme fonction linéaire hθ, Φ(x)i = j=1 θj Φj (x) de caractéristiques Φ(x) ∈ Rd • Minimisation de l’erreur d’entrainement: min θ∈Rd n 1X ℓ yi, hθ, Φ(xi )i n i=1 + µ Ω(θ) Attache aux données + regulariseur • Principaux défis théoriques et pratiques – Construire/apprendre de bonnes caractéristiques Φ(x) – Résoudre le problème d’optimisation efficacement Passage à l’échelle par optimisation convexe Retour aux sources • Années 1950: ordinateurs trop peu puissants IBM “1620”, 1959 Fréquence du processeur: 50 KHz Prix > 100 000 dollars • Années 2010: données trop massives • Un seul passage sur les données (Robbins et Monro, 1956) − Algorithme: θn = θn−1 − γn∂ℓ(yn, hθn−1, xni) Passage à l’échelle par optimisation convexe Retour aux sources • Années 1950: ordinateurs trop peu puissants IBM “1620”, 1959 Fréquence du processeur: 50 KHz Prix > 100 000 dollars • Années 2010: données trop massives • Un seul passage sur les données (Robbins et Monro, 1956) – Algorithme: θn = θn−1 − γn∂ℓ(yn, hθn−1, Φ(xn)i) Haute dimension et parcimonie • Statistique classique – Grand nombre n d’observations Haute dimension et parcimonie Nouvelles données Haute dimension et parcimonie Nouvelles données • La dimension d de chaque observation croı̂t avec n • Hypothèse de parcimonie – Succès théoriques et algorithmiques récents – Recherche de signaux faibles Haute dimension et parcimonie Nouvelles données • La dimension d de chaque observation croı̂t avec n • Hypothèse de parcimonie – Succès théoriques et algorithmiques récents – Recherche de signaux faibles Filtrage collaboratif Recommandation personalisée • Le bon produit pour le bon client • Complétion de matrices Produits Clients 1 3 1 4 4 1 3 4 1 2 2 3 4 1 4 2 2 1 4 3 • Nombreux algorithmes / challenges récents 2 Filtrage collaboratif Criblage virtuel • La bonne molécule pour la bonne “maladie” • Complétion de matrices “Maladies” Molécules 1 3 1 4 4 1 3 4 1 2 2 3 4 1 4 2 2 1 4 3 • Nombreux algorithmes / challenges récents 2 Apprentissage profond / Deep learning • Apprentissage non profond / shallow – Prédiction comme fonction linéaire hθ, Φ(x)i = de caractéristiques connues Φ(x) ∈ Rd – Optimisation et théorie bien maı̂trisées – Utilisation en marketing et en publicité Pd j=1 θj Φj (x) Apprentissage profond / Deep learning • Apprentissage non profond / shallow – Prédiction comme fonction linéaire hθ, Φ(x)i = de caractéristiques connues Φ(x) ∈ Rd – Optimisation et théorie bien maı̂trisées – Utilisation en marketing et en publicité Pd j=1 θj Φj (x) • Réseaux de neurones profonds – – – – Apprentissage des caractéristiques à partir des données Paramétrisation par combinaison d’opérations simples (+GPU) Optimisation et théorie mal maı̂trisées Fonctionne très bien en vision artificielle avec de nombreux exemples d’entrainement Réseaux de neurones Un seul neurone Réseaux de neurones profonds Nouveaux enjeux scientifiques • Données avec grande variété et hétérogénéité − Générées par des machines et/ou des individus • Apprentissage supervisé bien maı̂trisé − − − − Passage à l’échelle par méthodes d’optimisation convexe Gestion de la haute dimension à travers la parcimonie Filtrage collaboratif Apprentissage profond • Apprentissage non-supervisé largement ouvert – Semi-supervision et pertinence des résultats obtenus Intelligence Artificielle • Dispositifs imitant l’humain dans certaines fonctions cognitives – Perception (vision, parole, texte) – Jeu (échecs, backgammon, go) – Raisonnement / planification • Progrès récents importants en perception et apprentissage – Nombreuses applications (voitures autonomes, automatisation) Intelligence Artificielle • Dispositifs imitant l’humain dans certaines fonctions cognitives – Perception (vision, parole, texte) – Jeu (échecs, backgammon, go) – Raisonnement / planification • Progrès récents importants en perception et apprentissage – Nombreuses applications (voitures autonomes, automatisation) • Attention au “hype” et aux multiples “AI winters” Entre monde académique et industrie De nouvelles formes de transfert? • Création de start-ups • Formation – Mastères généralistes et spécialisés – Doctorats • Concurrence des laboratoires industriels (étrangers) • Accélération – Relations formelles ou informelles – “Time to market” – Mécénat Enjeux et Opportunités • Au-delà des “buzz words” – – – – – Big data Machine learning / apprentissage automatique Data science / science des données Intelligence artificielle Deep learning / apprentissage profond • Interdisciplinarité • Science et industrie
