Guillaume Pelletier-Auger - Petit réseau neuronal

Petit réseau neuronal

Notes prises lors de la construction d’un réseau neuronal très simple.

27 janvier 2019

J’ai rassemblé ci-dessous des notes que j’ai prises en suivant les tutoriels vidéo de Daniel Shiffman sur les réseaux neuronaux, qui eux-mêmes s’inspirent largement de Make Your Own Neural Network, un livre écrit par Tariq Rashid. Les concepts et les formules ne sont pas de moi, je ne fais que les écrire afin de m’aider à les comprendre et à les mémoriser.

Algorithme de propagation avant

Le calcul réalisé par une des couches du réseau, qui se fait en considérant ses « poids synaptiques » (en anglais, “weights”), peut se résumer par le produit matriciel ci-dessous, dans lequel $h$ représente une des couches intermédiaires (ou « couches cachées ») du réseau, $w$ représente les poids et $x$ représente les nœuds d’entrées (“inputs”) . Dans cette notation inversée, ${⃗ w}_{i j}$ indique le poids de $j$ vers $i$ .

[\begin{matrix} h_{1} h_{2} \end{matrix}] = [\begin{matrix} w_{11} & w_{12} & w_{13} w_{21} & w_{22} & w_{23} \end{matrix}] \cdot ⎡ ⎢ ⎣ \begin{matrix} x_{1} x_{2} x_{3} \end{matrix} ⎤ ⎥ ⎦

Ce produit peut aussi se représenter ainsi :

\begin{matrix} h_{1} & = (w_{11} \times x_{1}) + (w_{12} \times x_{2}) + (w_{13} \times x_{3}) h_{2} & = (w_{21} \times x_{1}) + (w_{22} \times x_{2}) + (w_{23} \times x_{3}) \end{matrix}

Il est aussi possible de le simplifier davantage :

H_{i} = W_{i j} \cdot X_{i}

Il faut aussi ajouter un biais $B$ , dont la valeur est de $1$ .

\begin{matrix} [\begin{matrix} h_{1} h_{2} \end{matrix}] & = [\begin{matrix} w_{11} & w_{12} & w_{13} & b_{1} w_{21} & w_{22} & w_{23} & b_{2} \end{matrix}] \cdot ⎡ ⎢ ⎢ ⎢ ⎣ \begin{matrix} x_{1} x_{2} x_{3} 1 \end{matrix} ⎤ ⎥ ⎥ ⎥ ⎦ h_{1} & = (w_{11} \times x_{1}) + (w_{12} \times x_{2}) + (w_{13} \times x_{3}) + b_{1} h_{2} & = (w_{21} \times x_{1}) + (w_{22} \times x_{2}) + (w_{23} \times x_{3}) + b_{2} H_{i} & = σ (W_{i j}^{I H} \cdot X_{i} + B_{i}^{H}) \end{matrix}

La fonction sigmoïde servira de fonction d’activation :

σ (x) = \frac{1}{1 + e^{- x}}

Le calcul du nœud de sortie $Y$ se fera finalement de cette façon :

Y = σ (W_{i j}^{H O} \times H_{i} + B_{i}^{Y})

Rétropropagation du gradient

Une fois la propagation avant terminée, nous sommes en mesure de calculer l’erreur $e$ , qui doit ensuite être envoyée du nœud de sortie vers les couches précédentes, par rétropropagation. Ici, ${⃗ w}_{i j}$ représente le poids $w$ entre le nœud de sortie $j$ et la couche cachée $i$ .

\begin{matrix} e_{h_{1}} & = (\frac{w_{11}}{w_{11} + w_{12}} \times e_{1}) + (\frac{w_{21}}{w_{21} + w_{22}} \times e_{2}) e_{h_{2}} & = (\frac{w_{12}}{w_{11} + w_{12}} \times e_{1}) + (\frac{w_{22}}{w_{21} + w_{22}} \times e_{2}) \end{matrix}

Nous allons cependant simplifier ce calcul en ne normalisant pas les poids avant de les multiplier avec l’erreur :

\begin{matrix} e_{h_{1}} & = w_{11} \times e_{1} + w_{21} \times e_{2} e_{h_{2}} & = w_{12} \times e_{1} + w_{22} \times e_{2} \end{matrix}

Ce qui équivaut à ce produit matriciel :

[\begin{matrix} e_{h_{1}} e_{h_{2}} \end{matrix}] = [\begin{matrix} w_{11} & w_{21} w_{12} & w_{22} \end{matrix}] \cdot [\begin{matrix} e_{1} e_{2} \end{matrix}]

À noter que la matrice des poids qui était utilisée lors de la propagation avant a été transposée pour être utilisée lors de la rétropropagation.

\begin{matrix} W & = [\begin{matrix} w_{11} & w_{12} w_{21} & w_{22} \end{matrix}] W^{T} & = [\begin{matrix} w_{11} & w_{21} w_{12} & w_{22} \end{matrix}] \end{matrix}

Autres ressources

— Machine Learning for the Web, un cours de Yining Shi donné à Itp (Nyu).
— How to build a Teachable Machine with TensorFlow.js, un tutoriel de Nikhil Thorat (un des développeurs de TensorFlow.js).
— Make your own neural network, de Tariq Rashid.
— Essence de l’algèbre linéaire, une série de vidéos de la chaîne YouTube 3Blue1Brown.
— Les réseaux neuronaux, une autre série de 3Blue1Brown.
— Essence du calcul différentiel et intégral, une autre série de 3Blue1Brown. “Chain rule, product rule”.
— Neural Networks and Deep Learning.
— Essential Math for Machine Learning, un cours de Graeme Malcolm sur edX.

Contexte

Cette note de blog fait partie de mon projet de recherche Vers un cinéma algorithmique, démarré en avril 2018. Je vous invite à consulter la toute première note du projet pour en apprendre davantage.