Régression Logistique
Classification probabiliste par sigmoïde
Enonce
Implémenter regression_logistique(X, y, lr, epochs) qui renvoie (w, b). Utiliser une descente de gradient sur l'entropie croisée. Tester sur deux gaussiennes 2D et afficher la précision finale.
Signature attendue
def regression_logistique(X, y, lr: float, epochs: int) -> tuple:📖 Rappel de cours
Malgré son nom, la régression logistique est un classifieur. Elle modélise la probabilité d'appartenir à la classe positive comme une sigmoïde d'une combinaison linéaire des features.
Modèle :
$P(y = 1 \mid x) = \sigma(w \cdot x + b), \quad \sigma(z) = \frac{1}{1 + e^{-z}}$
Fonction de perte (entropie croisée) :
$\mathcal{L}(w, b) = -\frac{1}{n}\sum_{i=1}^n \bigl[y_i \log \hat{p}_i + (1-y_i)\log(1-\hat{p}_i)\bigr]$
Gradient (forme remarquable) :
$\nabla_w \mathcal{L} = \frac{1}{n} X^T (\hat{p} - y), \quad \frac{\partial \mathcal{L}}{\partial b} = \frac{1}{n}\sum_i (\hat{p}_i - y_i)$
Étiquettes $y \in \{0, 1\}$ (et non $\{-1, +1\}$ comme pour le perceptron). La fonction de perte est convexe : la descente de gradient converge vers le minimum global.
← Exercices d'IA et d'apprentissage automatique en Python — CPGE
Exercices du meme theme
- Normalisation des Données
- Métriques de Régression
- Régression Polynomiale
- Naïve Bayes Gaussien
- Analyse en Composantes Principales (ACP)
- Forêt Aléatoire
La correction commentee, les indices progressifs, l'execution du code dans le navigateur et la verification par l'IA sont reserves aux abonnes.