Understanding Markov Chains

Questo libro offre un'introduzione a livello universitario alle catene di Markov in tempo discreto e continuo e alle loro applicazioni, con particolare attenzione alla tecnica di analisi del primo passo e alle sue applicazioni ai tempi medi di raggiungimento e alle probabilità di rovina. Discute anche argomenti classici come la ricorrenza e la transitorietà, le distribuzioni stazionarie e limite, oltre ai processi ramificati. Inizialmente esamina in dettaglio due esempi importanti (processi di gioco e passeggiate casuali) prima di presentare la teoria generale nei capitoli successivi. Fornisce inoltre un'introduzione ai martingale in tempo discreto e alla loro relazione con le probabilità di rovina e i tempi medi di uscita, insieme a un capitolo sui processi di Poisson spaziali. I concetti presentati sono illustrati da esempi, 138 esercizi e 9 problemi con le loro soluzioni.