Étude complète d'une chaîne de Markov à deux états

Terminale générale Spé · Option Mathématiques Expertes

À retenir

• Pour M = pmatrix 1 - a & a \\ b & 1 - b pmatrix : p_n+1 = (1 - a - b)p_n + b. • Point fixe = b/a + b ; u_n = p_n - est géométrique de raison 1 - a - b. • p_n = + (p_0 - )(1 - a - b)^n, qui tend vers si 0 < a < 1 et 0 < b < 1.

Le cours

1. Le modèle Une chaîne de Markov à deux états a une matrice de transition de la forme M = pmatrix 1 - a & a \\ b & 1 - b pmatrix, où a est la probabilité de quitter l'état 1 et b celle de quitter l'état 2. On suppose 0 Avec P_n = pmatrix p_n & 1 - p_n pmatrix, la relation P_n+1 = P_n M donne : p_n+1 = (1 - a)p_n + b(1 - p_n) = (1 - a - b)p_n + b 2. Résolution complète 1. Point fixe : = (1 - a - b) + b = b/a + b. 2. Suite auxiliaire : u_n = p_n - est géométrique de raison 1 - a - b. 3. Formule explicite : p_n = + (p_0 - )(1 - a - b)^n. 4. Limite : comme 0 3. Vitesse de convergence L'écart à la limite vaut |p_n - | = |p_0 - | |1 - a - b|^n : il est divisé par 1/|1 - a - b| à chaque étape. Pour trouver à partir de quel rang il passe sous un seuil , on résout |p_0 - | |1 - a - b|^n 4. Attention Si p_0 = , la suite est constante : l'état initial est déjà l'état stable. Le sens de l'inégalité change quand on divise par (1 - a - b), qui est négatif lorsque 0 < 1 - a - b < 1.

Dans ce chapitre

• Arbres pondérés et formule des probabilités totales de Première
• Produit scalaire et équations de droites dans le plan de Première
• Probabilités conditionnelles et suites arithmético-géométriques de Première
• Vocabulaire des graphes orientés et pondérés
• Graphes probabilistes et matrice de transition stochastique
• Distribution probabiliste à l'étape n
• Calcul explicite de l'état probabiliste par puissance de matrice
• Recherche et caractérisation de l'état stable
• Théorème de convergence pour les graphes probabilistes réguliers
• Étude complète d'une chaîne de Markov à deux états
• Modélisation de marches aléatoires et de processus stochastiques
• Graphes, matrice de transition et états probabilistes
• État stable et convergence à long terme
• Bilan : Synthèse et méthode sur Graphes probabilistes et chaînes de Markov