Ce sujet de stage s'inscrit dans le cadre de la collaboration entre les projets INRIA Alchemy et Tao concernant l'évolution de topologies de réseaux bio-inspirés et sera co-encadré par Michèle Sebag et Marc Schoenauer (Tao) et Hugues Berry (Alchemy).
La structure de la connectivité du réseau (topologie) joue un rôle primordial en ce qui concerne le transfert d'informations dans les grands réseaux (internet, réseaux sociaux, réseaux métaboliques...). Par exemple, la dissémination d'informations, de virus ou d'épidémies dans des réseaux à topologie « petit monde » ou « scale free » est bien plus efficace/rapide que dans leur contrepartie régulière ou totalement aléatoire. D'autres propriétés cruciales de ces systèmes complexes dépendent directement de la topologie, comme la tolérance aux pannes et aux fautes (robustesse), la vaccination ou la présence ou non de seuils épidémiques.
Quelques études ont appliqué ces outils de graphes complexes aux réseaux de neurones. Là aussi, certaines propriétés fonctionnelles cruciales pour les réseaux de neurones semblent dépendre de la topologie. Par exemple, une étude a montré récemment que l'introduction d'une topologie «petit monde» dans un perceptron monocouche augmente la vitesse d'apprentissage du réseau (Simar et al. (2005) Phys. Lett. A336:8-15). Néanmoins, dans la plupart des cas, les structures utilisées dans ces études sont extrêment simples et le nombre de connexions/neurones concerné est très faible. D'autre part, les mécanismes d'évolution utilisés ne modifient le plus souvent la topologie que de façon marginale.
Symétriquement, l'évolution par algorithmes évolutionnaires de la topologie d'un réseau d'automates cellulaires pour l'optimisation du fonctionnement global du réseau (problème de la majorité) a systématiquement donné comme topologie optimale une structure très proche d'un réseaux "petit monde" (Tomassini et al. (2005) Complex Systems 15(4):261-284).
La structure de la connectivité du réseau (topologie) joue un rôle primordial en ce qui concerne le transfert d'informations dans les grands réseaux (internet, réseaux sociaux, réseaux métaboliques...). Par exemple, la dissémination d'informations, de virus ou d'épidémies dans des réseaux à topologie « petit monde » ou « scale free » est bien plus efficace/rapide que dans leur contrepartie régulière ou totalement aléatoire. D'autres propriétés cruciales de ces systèmes complexes dépendent directement de la topologie, comme la tolérance aux pannes et aux fautes (robustesse), la vaccination ou la présence ou non de seuils épidémiques.
Quelques études ont appliqué ces outils de graphes complexes aux réseaux de neurones. Là aussi, certaines propriétés fonctionnelles cruciales pour les réseaux de neurones semblent dépendre de la topologie. Par exemple, une étude a montré récemment que l'introduction d'une topologie «petit monde» dans un perceptron monocouche augmente la vitesse d'apprentissage du réseau (Simar et al. (2005) Phys. Lett. A336:8-15). Néanmoins, dans la plupart des cas, les structures utilisées dans ces études sont extrêment simples et le nombre de connexions/neurones concerné est très faible. D'autre part, les mécanismes d'évolution utilisés ne modifient le plus souvent la topologie que de façon marginale.
Symétriquement, l'évolution par algorithmes évolutionnaires de la topologie d'un réseau d'automates cellulaires pour l'optimisation du fonctionnement global du réseau (problème de la majorité) a systématiquement donné comme topologie optimale une structure très proche d'un réseaux "petit monde" (Tomassini et al. (2005) Complex Systems 15(4):261-284).
- Le présent projet a donc pour objectif l'étude de l'interaction entre la topologie d'un (grand) réseau de neurones et la capacité d'apprentissage du-dit réseau. Ainsi, on étudiera successivement, pour résoudre globalement une tâche donnée, le problème direct et le problème inverse (pas forcément dans cet ordre) de la topologie d'un réseau de neurones :
- problème direct : pour un réseau à topologie fixée (avec un intérêt particulier pour les topologies du type de celles constatées dans les réseaux de neurones biologiques), comment se comporte l'apprentissage, soit de règles locales (avec divers mécanismes d'apprentissage, backprop, règles de Hebb, ...) soit au niveau global (par évolution artificielle). Une part importante du travail portera sur la compréhension de l'émergence de structures modulaires dans les réseaux, qui est une caractéristique des réseaux biologiques, mais n'est généralement pas observée avec les réseaux artificiels.
- problème inverse : pour des règles locales d'apprentissage données, vers quel type de topologie évolue la topologie d'un réseau donné qu'on cherche à optimiser (pour la tâche donnée) en faisant agir l'optimisation évolutionnaire sur la topologie du réseau (et éventuellement sur les paramètres - globaux - des règles locales). On cherchera en particulier dans quelle mesure les réseaux résultant de cette optimisation ont des caractéristiques proches de réseaux biologiquement plausibles. On analysera également les résultats obtenus suivant les angles de la consistence et de la robustesse de l'optimisation d'une part, et de la robustesse des réseaux obtenus d'autre part.