Tutorial zum EM-Algorithmus (zweite Auflage)

Die Maximum-Likelihood-Schätzung (MLE) ist eine beliebte Methode zur Parameterschätzung sowohl in der angewandten Wahrscheinlichkeitsrechnung als auch in der Statistik. MLE kann jedoch das Problem unvollständiger oder versteckter Daten nicht lösen, da es unmöglich ist, die Likelihood-Funktion anhand versteckter Daten zu maximieren. Der Algorithmus des Erwartungsmaximums (EM) ist ein leistungsfähiges mathematisches Werkzeug zur Lösung dieses Problems, wenn es eine Beziehung zwischen verborgenen und beobachteten Daten gibt. Eine solche Beziehung wird durch eine Abbildung von verborgenen Daten auf beobachtete Daten oder durch eine gemeinsame Wahrscheinlichkeit zwischen diesen spezifiziert. Der Grundgedanke des EM-Algorithmus besteht darin, den Erwartungswert der Likelihood-Funktion über den beobachteten Daten auf der Grundlage der Hinting-Beziehung zu maximieren, anstatt direkt die Likelihood-Funktion der verborgenen Daten zu maximieren. Die Pioniere des EM-Algorithmus haben dessen Konvergenz bewiesen. Infolgedessen liefert der EM-Algorithmus ebenso gute Parameterschätzer wie die MLE. Dieses Tutorial soll Erklärungen zum EM-Algorithmus liefern, um Forschern zu helfen, ihn zu verstehen. Darüber hinaus werden in der 2. Auflage einige EM-Anwendungen wie Mischmodelle, der Umgang mit fehlenden Daten und das Lernen versteckter Markov-Modelle vorgestellt.