Understanding Markov Chains

Ce livre offre une introduction de niveau undergraduate aux chaînes de Markov en temps discret et continu et à leurs applications, en mettant particulièrement l'accent sur la technique d'analyse du premier pas et ses applications aux temps d'atteinte moyens et aux probabilités de ruine. Il aborde également des sujets classiques tels que la récurrence et la transeance, les distributions stationnaires et limites, ainsi que les processus de ramification. Il examine d'abord en détail deux exemples importants (les processus de jeu et les marches aléatoires) avant de présenter la théorie générale dans les chapitres suivants. Il fournit également une introduction aux martingales en temps discret et leur relation avec les probabilités de ruine et les temps de sortie moyens, ainsi qu'un chapitre sur les processus de Poisson spatiaux. Les concepts présentés sont illustrés par des exemples, 138 exercices et 9 problèmes avec leurs solutions.