Chaînes de Markov et suites de matrices
Graphes probabilistes et chaînes de Markov : matrice de transition, évolution de la loi ?(n+1) = ?(n)P, état stable ; suites de matrices U(n+1) = AU(n) + B et convergence.
1. Graphe probabiliste et matrice de transition
Définition · Chaîne de Markov
Un système passe, à chaque étape, d'un état à un autre avec des probabilités qui ne dépendent que de l'état présent. On le représente par un graphe probabiliste : les sommets sont les états, chaque arête porte la probabilité de transition. La somme des poids partant d'un sommet vaut $1$.
Définition · Matrice de transition
La matrice $P$ a pour coefficient $p_{ij}$ la probabilité de passer de l'état $i$ à l'état $j$. Chaque ligne a une somme égale à $1$. Pour la météo : $P = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}4 & 0{,}6 \end{pmatrix}$.
2. Évolution de la loi
Propriété · Loi à l'étape n
Si $\pi_n$ est la matrice ligne des probabilités d'être dans chaque état à l'étape $n$, alors $\pi_{n+1} = \pi_n P$ et $\pi_n = \pi_0 P^n$.
Exemple · Il fait beau aujourd'hui
$\pi_0 = (1\ \ 0)$ ; $\pi_1 = \pi_0 P = (0{,}8\ \ 0{,}2)$ ; $\pi_2 = \pi_1 P = (0{,}72\ \ 0{,}28)$ : après-demain, il fera beau avec la probabilité $0{,}72$.
3. État stable
Définition · État stable
Une loi $\pi$ est un état stable si $\pi P = \pi$ (et la somme de ses coefficients vaut $1$).
Propriété · Cas de deux états
Pour $P = \begin{pmatrix} 1-a & a \\ b & 1-b \end{pmatrix}$ avec $0 < a + b < 2$, l'état stable est $\pi = \left(\dfrac{b}{a + b}\ \ \dfrac{a}{a + b}\right)$ et $\pi_n$ converge vers $\pi$ quel que soit $\pi_0$. Pour la météo : $\pi = \left(\dfrac{2}{3}\ \ \dfrac{1}{3}\right)$.
4. Suites de matrices
Méthode · Suites U(n+1) = AU(n) + B
On cherche une matrice $C$ telle que $C = AC + B$. Alors $U_n - C = A^n(U_0 - C)$. Si $A^n$ tend vers la matrice nulle, $U_n$ converge vers $C$.
Attention · Convention
Ici les lois sont des matrices lignes multipliées à droite par $P$. Certains ouvrages utilisent des colonnes et la matrice transposée : il faut toujours vérifier la convention de l'énoncé.
S'entraîner
Exercices corrigés
🎓 20 exercices corrigés et un quiz vous attendent dans ce chapitre.
Créez votre compte gratuit pour voir les corrections, faire les quiz et suivre votre progression.
Matrice de transition
★☆☆Écrire la matrice de transition $P$ du graphe météo (ordre : beau, pluie) et vérifier qu'elle est stochastique.
Deux jours plus tard
★☆☆Il fait beau aujourd'hui. Calculer $\pi_1$ et $\pi_2$.
État stable de la météo
★★☆Déterminer l'état stable $\pi = (x\ \ y)$ de la météo.
Deux opérateurs
★★☆Chaque mois, l'opérateur A garde $90\,\%$ de ses clients et en perd $10\,\%$ au profit de B ; B garde $80\,\%$ des siens et en perd $20\,\%$ au profit de A. Au départ, chacun a la moitié du marché. Calculer la répartition après un mois et l'état stable.
Matrice stochastique ?
★☆☆La matrice $\begin{pmatrix} 0{,}5 & 0{,}6 \\ 0{,}3 & 0{,}7 \end{pmatrix}$ peut-elle être une matrice de transition ?
Suite associée
★★★Pour les opérateurs, on note $a_n$ la part de A. Montrer que $a_{n+1} = 0{,}7a_n + 0{,}2$, puis exprimer $a_n$ en fonction de $n$ si $a_0 = 0{,}5$.
Marche sur un triangle
★★☆Un pion se déplace sur les trois sommets d'un triangle : à chaque étape, il va sur l'un des deux autres sommets avec la probabilité $\dfrac{1}{2}$. Écrire $P$ et vérifier que $\left(\dfrac{1}{3}\ \ \dfrac{1}{3}\ \ \dfrac{1}{3}\right)$ est stable.
Lire P²
★★☆Calculer $P^2$ pour la météo et interpréter le coefficient de la ligne « beau », colonne « pluie ».
Suite de matrices
★★★$U_{n+1} = AU_n + B$ avec $A = \begin{pmatrix} 0{,}5 & 0 \\ 0 & 0{,}5 \end{pmatrix}$ et $B = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$. Trouver $C$ tel que $C = AC + B$, puis la limite de $U_n$.
Fibonacci matriciel
★★☆Avec $\begin{pmatrix} F_{n+1} \\ F_n \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & 0 \end{pmatrix}\begin{pmatrix} F_n \\ F_{n-1} \end{pmatrix}$ et $F_0 = 0$, $F_1 = 1$, calculer $F_2$ à $F_{10}$.
Ville et campagne
★★☆Chaque année, $10\,\%$ des citadins partent à la campagne et $5\,\%$ des ruraux partent en ville. Déterminer la répartition stable.
Démontrer la formule de l'état stable
★★★Pour $P = \begin{pmatrix} 1-a & a \\ b & 1-b \end{pmatrix}$ avec $a + b > 0$, montrer que $\pi = \left(\dfrac{b}{a + b}\ \ \dfrac{a}{a + b}\right)$ est stable.
Formule explicite
★★★Pour la météo, on note $p_n$ la probabilité qu'il fasse beau au jour $n$, avec $p_0 = 1$. Montrer que $p_{n+1} = 0{,}4p_n + 0{,}4$ et en déduire $p_n$.
Simulation en Python
★★☆Écrire un programme Python qui calcule $\pi_n$ pour la météo, pour $n$ de $1$ à $10$.
Deux étapes dans un graphe à trois états
★★☆$P = \begin{pmatrix} 0{,}5 & 0{,}5 & 0 \\ 0 & 0{,}5 & 0{,}5 \\ 0{,}5 & 0 & 0{,}5 \end{pmatrix}$. Probabilité d'aller de l'état $1$ à l'état $3$ en deux étapes ?
État absorbant
★☆☆Que signifie la ligne $(0\ \ 0\ \ 1)$ pour l'état $3$ d'une matrice de transition ?
Convergence
★☆☆Pourquoi $0{,}4^n$ tend-il vers $0$ ? Que vaut $\displaystyle\lim_{n \to +\infty} p_n$ pour la météo ?
Fidélité à une marque
★★☆Trois marques X, Y, Z : $P = \begin{pmatrix} 0{,}8 & 0{,}1 & 0{,}1 \\ 0{,}2 & 0{,}7 & 0{,}1 \\ 0{,}1 & 0{,}2 & 0{,}7 \end{pmatrix}$. Au départ, les parts sont $(0{,}5\ \ 0{,}3\ \ 0{,}2)$. Calculer la répartition après un an.
Vérifier un état stable
★☆☆Vérifier que $\left(\dfrac{2}{3}\ \ \dfrac{1}{3}\right)$ est stable pour la météo.
Somme d'une ligne
★☆☆Pourquoi la somme de chaque ligne d'une matrice de transition vaut-elle $1$ ?
Vérifier
Avez-vous bien compris ?
Répondez au quiz : la correction s'affiche immédiatement.