Apprentissage profond, une révolution technologique de l'intelligence artificielle Hugo Larochelle, Google Brain
Intelligence Artificielle Rendre les machines intelligentes
Apprentissage Profond Rendre les machines capables d’apprendre
Observation: Programmer un ordinateur à être intelligent est plus ardu que le programmer à apprendre à devenir intelligent
Réseaux de Neurones Artificiels
Réseaux de Neurones Artificiels
Réseaux de Neurones Artificiels
Réseaux de Neurones Artificiels
Réseaux de Neurones Artificiels
Réseaux de Neurones Artificiels
Mes 10 années d’apprentissage profond
La Recette Ressources de calcul
Cloud Machine Learning Engine
Libraries et logiciels
Partage d’information
TensorFlow
Google Brain
Mélie
Évelyne
?
Mélie Marilou
Madeleine
Réseau de Neurones: À Retenir... ● Données sont “compressées” dans ses poids [Vie Privée]
● Le rôle joué par ses unités cachées n’est pas évident [Interprétabilité]
● Peut ne pas bien généraliser loin des données [Équité]
● Peut ne pas bien généraliser proche des données [Robustesse]
Vie Privée ● Données sont “compressées” dans ses poids ● Question: comment assurer que personne ne puisse “décompresser” les données à partir de ces poids? ● Réponse: partager un deuxième réseau de neurones qui 1) imite le réseau original mais 2) ne voit jamais les données privées
Vie Privée
Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data Papernot, Abadi, Erlingsson, Goodfellow, Talwar, 2017
Interprétabilité ● Le rôle joué par ses unités cachées n’est pas évident ● Question: comment comprendre pourquoi un réseau de neurones fait les prédictions qu’il produit ● Réponse: on identifie les parties de son entrée qui influence le plus sa sortie
Interprétabilité
SmoothGrad: removing noise by adding noise Smilkov, Thorat, Kim, Viégas, Wattenberg, 2017
Interprétabilité
SmoothGrad: removing noise by adding noise Smilkov, Thorat, Kim, Viégas, Wattenberg, 2017
Équité ● Peut ne pas bien généraliser loin des données ● Question: comment assurer que le réseau de neurones n’est pas influencé pas des biais dans ses données? ● Réponse: ○ utiliser des outils de visualisation de données pour corriger ces biais ○ entraîner explicitement le réseau de neurones à ne pas utiliser de l’information sensible qui pourrait introduire des biais
Équité
Facets Dive People+AI Research Initiative, 2017
Équité
entrée
sortie
information sensible Domain-Adversarial Training of Neural Networks Ganin, Ustinova, Ajakan, Germain, Larochelle, Laviolette, Marchand, Lempitsky, 2017
Robustesse ● Peut ne pas bien généraliser proche des données ● Question: comment s’assurer qu’un réseau de neurones ne peut être dupé à produire la mauvaise sortie ● Answer: entraîner le réseau de neurones à être robuste par rapport aux entrées qui dupent d’autres réseaux non-robuste
Robustesse
Intriguing Properties of Neural Networks Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow, Fergus, 2014
Robustesse
Intriguing Properties of Neural Networks Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow, Fergus, 2014
Robustesse Données
Réseaux pré-entraînés
Réseau robuste
Ensemble Adversarial Training: Attacks and Defenses Florian Tramèr, Alexey Kurakin, Nicolas Papernot, Dan Boneh, Patrick McDaniel, 2017
Intelligence Artificielle Responsable ● Il est alors important d'étudier les modes de défaillance de l’IA
● Bonne nouvelle: les chercheurs s’y acharnent déjà, et d’autres avancées sont à venir! ● Ces préoccupations ne sont pas nécessaires pour toutes les applications ○
La plupart des applications actuelles de l’IA ne sont pas à risque
● Principe directeur: garder l’utilisateur en tête!
Merci!
