Chargement...
 

Module Deep Learning, Alexandre Allauzen, Michèle Sebag and Thomas Schmitt

Pointeurs

  1. Vidéos des cours de Hugo Larochelle, accessibles ici. Voir également les informations détaillées plus bas.
  2. Voir également les cours de Yann Le Cun au Collège de France

Last news from NIPS/ICML 15-16-

Distributions of examples, representation
NLP
Operators
  • Spatial Transformer Networks, Max Jaderberg, Karen Simonyan, Andrew Zisserman, Koray Kavukcuoglu
    • Florence Carton, Alvaro Correia, Gabriel Quéré, Antonin Raffin
  • Learning Deep Structured Models, Liang-Chieh Chen, Alexander Schwing, Alan Yuille, Raquel Urtasun
    • VU Trong Bach
Optimisation
  • An empirical investigation of catastrophic forgetting in gradient based NN
    • Nawel Medjkoune, Fella Belkham, Mihaela Sorostinean
  • Scalable Bayesian Optimization Using Deep Neural Networks, Jasper Snoek, Oren Rippel, Kevin Swersky, Ryan Kiros, Nadathur Satish, Narayanan Sundaram, Mostofa Patwary, Mr Prabhat, Ryan Adams
    • Laurent Cetinsoy

Séance 1 (M. Sebag): 23/11



Séance 2 (30/11)


Séance 3 (7/12)


  • Cours sur la regularisation et le dropout en pdf

ERRATUM :
1. Initialiser W de façon aléatoire est plus efficace qu'avec np.ones (dans ce cas l’apprentissage semble saturer vers 64% d'accuracy)

2. La docstring de forward n'est pas correct il faut remplacer :
:return Y: a list of activation values (except for the last layer which is the pre-activation values Y[-1] = W[-1].dot(Y[-1])+B[-1])
:return Yp: a list of the derivatives w.r.t. the pre-activation of the activation values *except for the last layer*

3. Pour éviter des problèmes d'instabilité dans le calcul de la fonction sigmoïd, on peut ajouter :
z[z < -30.0] = -30.0
z[z > 30.0] = 30.0
avant le calcul de l'exponentielle.

Séance 4 (4/1)


Séance 5 (11/1)


Séance 6 (18/1)


  • TP : TP Keras.ipynb. Le TP est en Keras (https://keras.io/) qui est construit au dessus des librairies Theano ou Tensorflow. (Assurez vous d'avoir déjà installer Theano ou Tensorflow sur vos machine personnelle)


Séance 7 (25/1)


Cours sur les modèles de séquence en pdf

Idées de TP pour l'an prochain

http://spikefinder.codeneuro.org/

Collaborateur(s) de cette page: sebag , Alexandre.Allauzen et ThomasS .
Page dernièrement modifiée le Mardi 14 février 2017 16:29:27 CET par sebag.