Descente de Gradient : intuition, choix du pas et cas concrets en R

Imaginez que vous êtes perdu au milieu d'une chaîne de montagnes, les yeux bandés, et que votre seul objectif est d'atteindre la vallée la plus basse. Votre instinct vous dirait de tâtonner, de sentir la pente, et de faire un pas dans la direction où la descente est la plus raide.

C'est exactement le principe fondamental de la Descente de Gradient, l'algorithme moteur de l'optimisation en apprentissage automatique.

Intuition de la descente de gradient : suivre la pente la plus raide avec un pas doséWikimedia Commons

Le défi majeur est de choisir combien avancer à chaque pas. Un pas trop petit ralentit la convergence, tandis qu'un pas trop grand risque de survoler le minimum ou de faire diverger l'algorithme.

1. Trois Stratégies de Pas

Le choix de ${\alpha }_k$ conditionne la rapidité et la stabilité de la convergence.

1.1 Pas Exact pour Fonctions Quadratiques

Pour des fonctions quadratiques de la forme $f(x,y)=\frac{x^2}{2}+\frac{7y^2}{2}$, le pas optimal ${\alpha }^{\ast }$ s'exprime analytiquement :

f <- function(x, y) x^2/2 + 7*y^2/2
grad_f <- function(x, y) c(x, 7*y)

step_exact <- function(x, y) {
(x^2 + 49*y^2) / (x^2 + 343*y^2)
}

Effet du mauvais conditionnement : pas exact vs backtracking sur vallée anisotropePortfolio Repos

1.2 Recherche de Pas Armijo & Wolfe (Line Search Adaptative)

Dans le cas général non quadratique, nous appliquons une recherche adaptative basée sur deux règles formelles :

1. Condition d'Armijo (Décroissance Suffisante)

   Garantit que la fonction diminue d'une quantité proportionnelle à la pente initiale :

   $$f(\mathbf{x}-\alpha \mathbf{g})\le f(\mathbf{x})-c_1\alpha \Vert \mathbf{g}{\Vert }^2$$

2. Condition de Wolfe (Contrôle de Courbure)

   Évite les pas trop petits en vérifiant que le gradient résiduel est plus plat :

   $$-\nabla f(\mathbf{x}-\alpha \mathbf{g}{)}^{\top }\mathbf{g}\le -c_2\Vert \mathbf{g}{\Vert }^2$$

Encadrement des conditions d'Armijo et de Curvature (Wolfe)ResearchGate Optimization Diagram

2. Exemple Interactif & Surfaces Complexes

Trajectoire de convergence de la descente de gradient sur surface quadratique 3DQuadratic 3D Path

Trajectoire de convergence sur surface non-quadratique exponentielleNon-quadratic Path

Optimisation du Code : De Pas Fixe à Line Search Adaptative

−x <- x - 0.01 * g[1]; y <- y - 0.01 * g[2]  # Pas fixe risqué
+alpha <- line_search_armijo(x, y, g, c1=1e-4)
+x <- x - alpha * g[1]; y <- y - alpha * g[2]

3. Synthèse & Bonnes Pratiques