processus de Markov

En mathématiques, un processus de Markov est un processus stochastique possédant la propriété de Markov. Dans un tel processus, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information concernant le passé. Les processus de Markov portent le nom de leur inventeur, Andreï Markov. Un processus de Markov en temps discret est une séquence de variables aléatoires. L'ensemble de leurs valeurs possibles est appelé l’espace d'états, la valeur étant l'état du processus à l'instant Selon les auteurs, le vocable « chaîne de Markov » désigne les processus de Markov à temps discret ou uniquement les processus de Markov à temps discret et à espace d'états discret, c.-à-d. les processus de Markov à temps discret dont l'espace d'états est fini ou dénombrable. Si la loi conditionnelle de sachant le passé, i.e. sachant est une fonction de seul, alors : où est un état quelconque du processus. L'identité ci-dessus identifie la probabilité markovienne. Andreï Markov a publié les premiers résultats de ces processus en 1906. Une généralisation à un espace d'états infini dénombrable a été donnée par Kolmogorov en 1936. Les processus de Markov sont liés au mouvement brownien et à l'hypothèse ergodique, deux sujets de physique statistique qui ont été très importants au début du XXe siècle.