Gaz neuronal

Soit une distribution de probabilité P(x) sur des vecteurs x (les données), et un nombre fini de vecteurs principaux w_i, i=1, ..., N.

À chaque étape de temps t (discret), un vecteur d'entrée x est tiré aléatoirement selon la loi P, afin d'être présenté à l'algorithme. Ensuite, les vecteurs principaux sont classés du plus proche au plus lointain de ce vecteur x : i₀ sera l'indice du vecteur principal le plus proche de x, i₁ l'indice du second plus proche, etc, et i_N-1 représente l'indice du vecteur principal le plus éloigné de x. Enfin, chaque vecteur principal (k = 0, ..., N-1) est adapté selon la règle, dépendante de k, que voici :

${\displaystyle w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\varepsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t})}$

avec ε le taux d'adaptation, et λ la taille du voisinage. Pour assurer la convergence, il est nécessaire que ε et λ soit décroissant en fonction de t (ie. décroisse quand t augmente). Après un nombre suffisant d'étapes d'adaptation, les vecteurs principaux recouvrent (et représentent) l'espace de données avec une erreur de représentation minimum (ou presque minimale).

L'étape d'adaptation présente dans l'algorithme de gaz neuronal peut être interprétée comme une descente de gradient d'une fonction de coût. En adaptant tous les vecteurs, et pas seulement le plus proche des vecteurs principaux, avec un taux d'adaptation inversement proportionnel à la distance avec le vecteur x, l'algorithme parvient à obtenir une convergence bien plus robuste que son alternative, l'algorithme des K-moyennes (même sa version en temps réel).

On peut remarquer que le modèle de gaz neuronal ne supprime jamais de nœud, mais n'en ajoute jamais non plus.

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Neural_gas » (voir la liste des auteurs).